GNU/Linux Magazine N°
Numéro
164

Retour d'expérience : Big Data, parallélisez et accélérez vos transferts de fichiers

Temporalité
Octobre 2013
Article mis en avant

Résumé

Cet article est un retour d'expérience. Il a pour but de vous présenter comment, dans un institut de recherche en biologie, nous avons entamé la migration de plusieurs centaines de téraoctets de données vers un seul et même serveur de fichiers. Cette migration a lieu dans le cadre d'un achat de nouveau matériel, destiné à remplacer plusieurs serveurs de stockage hétérogènes.

Dans ce numéro...


On dirait un buzz-word, un peu comme le cloud, mais c'est un fait : la masse de données devient énorme, et ce aussi bien en milieu professionnel que sur le plan privé pour son « petit » usage personnel. Il est vrai qu'il existe une tendance naturelle chez tout bon informaticien à ne jamais rien effacer (voire ne jamais rien jeter).
La gestion des capabilities est un mécanisme de sécurité du noyau Linux concourant à assurer un confinement d’exécution des applications s’exécutant sur le système en affinant les possibilités d'appliquer le principe du moindre privilège.
N'en déplaise à nos amis pythonistes, PHP est un langage infiniment supérieur à Python par bien des points. Je vais tenter par cet article de convertir quelques brebis égarées et de les ramener dans le droit chemin. Abandonnez Python au profit de PHP !
Historique : À l'origine, MIMEDefant est un développement de David F. Skoll financé par le Collège royal des médecins et chirurgiens du Canada en 2000 afin de les aider à endiguer le déluge de virus propagés par messagerie électronique sur le réseau informatique du collège. Le logiciel fut conçu pour filtrer les pièces jointes et s'est tout d'abord nommé MIMESweeper, puis MIMEDefanger et, finalement, MIMEDefang. David Skoll annonça la naissance de son programme au public le 28 août 2000. Le 21 décembre 2001, une version incorporant le support de SpamAssassin est publiée, permettant ainsi à MIMEDefang de filtrer à la fois les virus et les spams. La société de David Skoll, Roaring Penguin Software, commercialise un produit antispam appelé CanIt qui est construit au dessus de la version libre de MIMEDefang. Je pompe cette histoire de MIMEDefang directement depuis la version anglaise de Wikipédia. Pour me faire pardonner ma paresse, j'ai traduit le (modeste) article sur MIMEDefang dans l'encyclopédie en ligne vers sa version française.
Pour de sombres raisons de licence, le système de fichiers ZFS n'est pas disponible dans le kernel Linux. Pour en profiter, il faut soit passer pas FUSE, soit installer un OpenSolaris, soit utiliser FreeBSD. C'est cette dernière solution qui a été retenue.
Cela fait quelques années que je vends du logiciel et… soit je n’ai pas de chance, soit c’est le marché qui veut ça, mais pour une application client lourd (QT,Swing,GTK…) que j’écris, je vends 3 applications Web. Ces applications Web sont des applications style « desktop », mais vivantes, soit dans un navigateur Internet « standard », soit sur le navigateur d’un téléphone/tablette. Là où ça se complique, c’est qu’une application lourde interagit rapidement et « fonctionne » sans Internet… Deux trucs « difficiles » à mettre en place pour les applications Web.Il devient assez complexe de faire comprendre à son client qu’une application Web 2.0 ne peut fonctionner sans Internet alors qu’une vieille application client lourd (Pre-Web 1.0 ?) le peut.
Juste avant qu'un programme se termine « anormalement », il peut être intéressant d'afficher la pile d'appel. Nous allons voir comment mettre cela en œuvre.
L'une des particularités de la librairie glibc, en plus d'être une librairie tampon au noyau GNU/linux,est aussi exécutable comme un processus standard.
Il arrive fréquemment dans la vie d'un développeur qu'on lui demande d'importer ou d'exporter des données depuis ou vers un format de fichier ayant une orientation tableur. Le plus souvent, il opte pour une solution à la base de fichier CSV sortant du standard pour pouvoir être ouvert sans difficulté par MS Excel. Une autre solution existe pourtant et j'avoue avoir été impressionné par sa puissance et sa facilité d'utilisation : PHPExcel.
Depuis la mi-mai, Google a annoncé lors du Google I/O que PHP était maintenant supporté par le Google App Engine, rejoignant ainsi Java, Python et Go. Il s'agissait de l'évolution la plus demandée par les utilisateurs depuis la création de App Engine.

Magazines précédents

GNU/Linux-Magazine N°163
Créez vos postes sans disque
GNU/Linux-Magazine N°162
Centralisez la gestion des logs
GNU/Linux-Magazine N°161
Boostez les performances de vos serveurs
GNU/Linux-Magazine N°159
Virtualisation avec les LinuX Containers
GNU/Linux-Magazine N°158
Votre supervision pas à pas avec Zabbix

Les derniers articles Premiums

Les derniers articles Premium

Stubby : protection de votre vie privée via le chiffrement des requêtes DNS

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Depuis les révélations d’Edward Snowden sur l’espionnage de masse des communications sur Internet par la NSA, un effort massif a été fait pour protéger la vie en ligne des internautes. Cet effort s’est principalement concentré sur les outils de communication avec la généralisation de l’usage du chiffrement sur le web (désormais, plus de 90 % des échanges se font en HTTPS) et l’adoption en masse des messageries utilisant des protocoles de chiffrement de bout en bout. Cependant, toutes ces communications, bien que chiffrées, utilisent un protocole qui, lui, n’est pas chiffré par défaut, loin de là : le DNS. Voyons ensemble quels sont les risques que cela induit pour les internautes et comment nous pouvons améliorer la situation.

Surveillez la consommation énergétique de votre code

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Être en mesure de surveiller la consommation énergétique de nos applications est une idée attrayante, qui n'est que trop souvent mise à la marge aujourd'hui. C'est d'ailleurs paradoxal, quand on pense que de plus en plus de voitures permettent de connaître la consommation instantanée et la consommation moyenne du véhicule, mais que nos chers ordinateurs, fleurons de la technologie, ne le permettent pas pour nos applications... Mais c'est aussi une tendance qui s'affirme petit à petit et à laquelle à terme, il devrait être difficile d'échapper. Car même si ce n'est qu'un effet de bord, elle nous amène à créer des programmes plus efficaces, qui sont également moins chers à exécuter.

Donnez une autre dimension à vos logs avec Vector

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Avoir des informations précises et détaillées sur ce qu’il se passe dans une infrastructure, et sur les applications qu'elle héberge est un enjeu critique pour votre business. Cependant, ça demande du temps, temps qu'on préfère parfois se réserver pour d'autres tâches jugées plus prioritaires. Mais qu'un système plante, qu'une application perde les pédales ou qu'une faille de sécurité soit découverte et c'est la panique à bord ! Alors je vous le demande, qui voudrait rester aveugle quand l'observabilité a tout à vous offrir ?

Body