Python et le format HDF5

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
73
Mois de parution
juillet 2014
Spécialité(s)


Résumé

Il arrive que l'on souhaite traiter de très grandes quantités de données. Ces données doivent être stockées dans un ou plusieurs fichiers pour lesquels on va choisir une structure permettant un traitement le plus simple et le plus rapide possible. Les formats « standards » de fichier ne seront pas toujours suffisamment efficaces en fonction de la quantité de données. Il faut alors se tourner vers le format HDF5.


Le format HDF5 est la 5ème version du format de fichiers HDF -- pour Hierarchical Data Format -- qui a été créé en 1987 par le NCSA (National Center for Supercomputing Applications). Ce format, ainsi que les outils qui lui sont associés, sont distribués sous licence BSD par le HDF Group [1], l'organisme en charge de la maintenance du format depuis 2006. Bien connu des astronomes (la NASA a stocké plus de 15 Po de données en HDF), ce format permet de stocker et d'accéder efficacement à de très grands volumes de données... Mais ce n'est pas son seul avantage :

- Il est complètement indépendant des plateformes, systèmes d'exploitation ou langages (il faudra bien sûr utiliser la bibliothèque adéquate en fonction du langage utilisé),

- On peut ajouter des métadonnées servant éventuellement d'annotation aux données stockées dans le fichier (par exemple la date d'une expérience, etc.),

- Les données sont structurées et regroupées en...

Cet article est réservé aux abonnés. Il vous reste 96% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne


Article rédigé par

Par le(s) même(s) auteur(s)

Contrôler un serveur avec des SMS

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
118
Mois de parution
février 2022
Spécialité(s)
Résumé

Utiliser des SMS pour communiquer avec un serveur peut paraître assez loufoque à notre époque. Pourtant, cela peut être très utile quand l’utilisateur final n’est pas un informaticien et que l’on ne souhaite pas nécessairement développer une application spécifique.

Les derniers articles Premiums

Les derniers articles Premium

Brève introduction pratique à ZFS

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Il est grand temps de passer à un système de fichiers plus robuste et performant : ZFS. Avec ses fonctionnalités avancées, il assure une intégrité des données inégalée et simplifie la gestion des volumes de stockage. Il permet aussi de faire des snapshots, des clones, et de la déduplication, il est donc la solution idéale pour les environnements de stockage critiques. Découvrons ensemble pourquoi ZFS est LE choix incontournable pour l'avenir du stockage de données.

Générez votre serveur JEE sur-mesure avec Wildfly Glow

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Et, si, en une ligne de commandes, on pouvait reconstruire son serveur JEE pour qu’il soit configuré, sur mesure, pour les besoins des applications qu’il embarque ? Et si on pouvait aller encore plus loin, en distribuant l’ensemble, assemblé sous la forme d’un jar exécutable ? Et si on pouvait même déployer le tout, automatiquement, sur OpenShift ? Grâce à Wildfly Glow [1], c’est possible ! Tout du moins, pour le serveur JEE open source Wildfly [2]. Démonstration dans cet article.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 64 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous