Il arrive que l'on souhaite traiter de très grandes quantités de données. Ces données doivent être stockées dans un ou plusieurs fichiers pour lesquels on va choisir une structure permettant un traitement le plus simple et le plus rapide possible. Les formats « standards » de fichier ne seront pas toujours suffisamment efficaces en fonction de la quantité de données. Il faut alors se tourner vers le format HDF5.
Le format HDF5 est la 5ème version du format de fichiers HDF -- pour Hierarchical Data Format -- qui a été créé en 1987 par le NCSA (National Center for Supercomputing Applications). Ce format, ainsi que les outils qui lui sont associés, sont distribués sous licence BSD par le HDF Group [1], l'organisme en charge de la maintenance du format depuis 2006. Bien connu des astronomes (la NASA a stocké plus de 15 Po de données en HDF), ce format permet de stocker et d'accéder efficacement à de très grands volumes de données... Mais ce n'est pas son seul avantage :
- Il est complètement indépendant des plateformes, systèmes d'exploitation ou langages (il faudra bien sûr utiliser la bibliothèque adéquate en fonction du langage utilisé),
- On peut ajouter des métadonnées servant éventuellement d'annotation aux données stockées dans le fichier (par exemple la date d'une expérience, etc.),
- Les données sont structurées et regroupées en...
- Accédez à tous les contenus de Connect en illimité
- Découvrez des listes de lecture et des contenus Premium
- Consultez les nouveaux articles en avant-première