Python et le format HDF5

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
73
Mois de parution
juillet 2014
Domaines


Résumé
Il arrive que l'on souhaite traiter de très grandes quantités de données. Ces données doivent être stockées dans un ou plusieurs fichiers pour lesquels on va choisir une structure permettant un traitement le plus simple et le plus rapide possible. Les formats « standards » de fichier ne seront pas toujours suffisamment efficaces en fonction de la quantité de données. Il faut alors se tourner vers le format HDF5.

Le format HDF5 est la 5ème version du format de fichiers HDF -- pour Hierarchical Data Format -- qui a été créé en 1987 par le NCSA (National Center for Supercomputing Applications). Ce format, ainsi que les outils qui lui sont associés, sont distribués sous licence BSD par le HDF Group [1], l'organisme en charge de la maintenance du format depuis 2006. Bien connu des astronomes (la NASA a stocké plus de 15 Po de données en HDF), ce format permet de stocker et d'accéder efficacement à de très grands volumes de données... Mais ce n'est pas son seul avantage :

- Il est complètement indépendant des plateformes, systèmes d'exploitation ou langages (il faudra bien sûr utiliser la bibliothèque adéquate en fonction du langage utilisé),

- On peut ajouter des métadonnées servant éventuellement d'annotation aux données stockées dans le fichier (par exemple la date d'une expérience, etc.),

- Les données sont structurées et regroupées en « répertoires »,

- Avec le...

Cet article est réservé aux abonnés. Il vous reste 95% à découvrir.
à partir de 21,65€ HT/mois/lecteur pour un accès 5 lecteurs à toute la plateforme
J'en profite


Articles qui pourraient vous intéresser...

Programmation avec le 6502 : vers des jeux plus évolués

Magazine
Marque
Hackable
Numéro
37
Mois de parution
avril 2021
Domaines
Résumé

Nous savons à présent comment exploiter les capacités du 6502 et du PPU de la NES afin de faire des jeux, comme le Pac-Man présenté lors du dernier article. J'espère d'ailleurs que certains d'entre vous ont essayé, et sont parvenus à améliorer ce programme, disponible sur le GitHub du magazine. Aujourd'hui, nous allons voir que les cartouches de jeux elles-mêmes peuvent renfermer des trésors d'ingéniosité électronique, permettant d'augmenter les capacités de base de la console.

À la découverte des namespaces mount et uts

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

Le namespace mount, premier d'une longue série de namespaces a été ajouté à Linux quelques années après chroot() pour offrir plus de possibilités et de sécurité dans l'isolation des systèmes de fichiers. Introduit peu après et indéniablement plus simple, le namespace uts permet d'instancier les noms de machine. Les conteneurs sont bien entendu les premiers clients de ces fonctionnalités.

Godot : comment créer un jeu d’aventure

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

Dans cette série dont cet article est le premier, nous allons découvrir comment créer un jeu aussi complexe qu’un jeu d’aventure avec le moteur de jeu Godot. Nous verrons les différentes étapes, les obstacles et les différents outils mis à votre disposition.

C’est l’histoire d’un make…

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

L’outil make permet de fabriquer des fichiers selon des règles de production décrites dans une syntaxe très simple. Dans cet article, nous allons explorer les grands principes de l’écriture de ces règles et pour ceux qui ne sont pas encore familiers de cet outil, vous faire regretter d’avoir attendu si longtemps pour le connaître…