GNU/Linux Magazine N°
Numéro
164

Retour d'expérience : Big Data, parallélisez et accélérez vos transferts de fichiers

Temporalité
Octobre 2013
Article mis en avant

Résumé

Cet article est un retour d'expérience. Il a pour but de vous présenter comment, dans un institut de recherche en biologie, nous avons entamé la migration de plusieurs centaines de téraoctets de données vers un seul et même serveur de fichiers. Cette migration a lieu dans le cadre d'un achat de nouveau matériel, destiné à remplacer plusieurs serveurs de stockage hétérogènes.

Dans ce numéro...


On dirait un buzz-word, un peu comme le cloud, mais c'est un fait : la masse de données devient énorme, et ce aussi bien en milieu professionnel que sur le plan privé pour son « petit » usage personnel. Il est vrai qu'il existe une tendance naturelle chez tout bon informaticien à ne jamais rien effacer (voire ne jamais rien jeter).
La gestion des capabilities est un mécanisme de sécurité du noyau Linux concourant à assurer un confinement d’exécution des applications s’exécutant sur le système en affinant les possibilités d'appliquer le principe du moindre privilège.
N'en déplaise à nos amis pythonistes, PHP est un langage infiniment supérieur à Python par bien des points. Je vais tenter par cet article de convertir quelques brebis égarées et de les ramener dans le droit chemin. Abandonnez Python au profit de PHP !
Historique : À l'origine, MIMEDefant est un développement de David F. Skoll financé par le Collège royal des médecins et chirurgiens du Canada en 2000 afin de les aider à endiguer le déluge de virus propagés par messagerie électronique sur le réseau informatique du collège. Le logiciel fut conçu pour filtrer les pièces jointes et s'est tout d'abord nommé MIMESweeper, puis MIMEDefanger et, finalement, MIMEDefang. David Skoll annonça la naissance de son programme au public le 28 août 2000. Le 21 décembre 2001, une version incorporant le support de SpamAssassin est publiée, permettant ainsi à MIMEDefang de filtrer à la fois les virus et les spams. La société de David Skoll, Roaring Penguin Software, commercialise un produit antispam appelé CanIt qui est construit au dessus de la version libre de MIMEDefang. Je pompe cette histoire de MIMEDefang directement depuis la version anglaise de Wikipédia. Pour me faire pardonner ma paresse, j'ai traduit le (modeste) article sur MIMEDefang dans l'encyclopédie en ligne vers sa version française.
Pour de sombres raisons de licence, le système de fichiers ZFS n'est pas disponible dans le kernel Linux. Pour en profiter, il faut soit passer pas FUSE, soit installer un OpenSolaris, soit utiliser FreeBSD. C'est cette dernière solution qui a été retenue.
Cela fait quelques années que je vends du logiciel et… soit je n’ai pas de chance, soit c’est le marché qui veut ça, mais pour une application client lourd (QT,Swing,GTK…) que j’écris, je vends 3 applications Web. Ces applications Web sont des applications style « desktop », mais vivantes, soit dans un navigateur Internet « standard », soit sur le navigateur d’un téléphone/tablette. Là où ça se complique, c’est qu’une application lourde interagit rapidement et « fonctionne » sans Internet… Deux trucs « difficiles » à mettre en place pour les applications Web.Il devient assez complexe de faire comprendre à son client qu’une application Web 2.0 ne peut fonctionner sans Internet alors qu’une vieille application client lourd (Pre-Web 1.0 ?) le peut.
Juste avant qu'un programme se termine « anormalement », il peut être intéressant d'afficher la pile d'appel. Nous allons voir comment mettre cela en œuvre.
L'une des particularités de la librairie glibc, en plus d'être une librairie tampon au noyau GNU/linux,est aussi exécutable comme un processus standard.
Il arrive fréquemment dans la vie d'un développeur qu'on lui demande d'importer ou d'exporter des données depuis ou vers un format de fichier ayant une orientation tableur. Le plus souvent, il opte pour une solution à la base de fichier CSV sortant du standard pour pouvoir être ouvert sans difficulté par MS Excel. Une autre solution existe pourtant et j'avoue avoir été impressionné par sa puissance et sa facilité d'utilisation : PHPExcel.
Depuis la mi-mai, Google a annoncé lors du Google I/O que PHP était maintenant supporté par le Google App Engine, rejoignant ainsi Java, Python et Go. Il s'agissait de l'évolution la plus demandée par les utilisateurs depuis la création de App Engine.

Magazines précédents

GNU/Linux-Magazine N°163
Créez vos postes sans disque
GNU/Linux-Magazine N°162
Centralisez la gestion des logs
GNU/Linux-Magazine N°161
Boostez les performances de vos serveurs
GNU/Linux-Magazine N°159
Virtualisation avec les LinuX Containers
GNU/Linux-Magazine N°158
Votre supervision pas à pas avec Zabbix

Les derniers articles Premiums

Les derniers articles Premium

Le combo gagnant de la virtualisation : QEMU et KVM

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

C’est un fait : la virtualisation est partout ! Que ce soit pour la flexibilité des systèmes ou bien leur sécurité, l’adoption de la virtualisation augmente dans toutes les organisations depuis des années. Dans cet article, nous allons nous focaliser sur deux technologies : QEMU et KVM. En combinant les deux, il est possible de créer des environnements de virtualisation très robustes.

Brève introduction pratique à ZFS

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Il est grand temps de passer à un système de fichiers plus robuste et performant : ZFS. Avec ses fonctionnalités avancées, il assure une intégrité des données inégalée et simplifie la gestion des volumes de stockage. Il permet aussi de faire des snapshots, des clones, et de la déduplication, il est donc la solution idéale pour les environnements de stockage critiques. Découvrons ensemble pourquoi ZFS est LE choix incontournable pour l'avenir du stockage de données.

Générez votre serveur JEE sur-mesure avec Wildfly Glow

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Et, si, en une ligne de commandes, on pouvait reconstruire son serveur JEE pour qu’il soit configuré, sur mesure, pour les besoins des applications qu’il embarque ? Et si on pouvait aller encore plus loin, en distribuant l’ensemble, assemblé sous la forme d’un jar exécutable ? Et si on pouvait même déployer le tout, automatiquement, sur OpenShift ? Grâce à Wildfly Glow [1], c’est possible ! Tout du moins, pour le serveur JEE open source Wildfly [2]. Démonstration dans cet article.

Body