GNU/Linux Magazine N°
Numéro
164

Retour d'expérience : Big Data, parallélisez et accélérez vos transferts de fichiers

Temporalité
Octobre 2013
Article mis en avant

Résumé

Cet article est un retour d'expérience. Il a pour but de vous présenter comment, dans un institut de recherche en biologie, nous avons entamé la migration de plusieurs centaines de téraoctets de données vers un seul et même serveur de fichiers. Cette migration a lieu dans le cadre d'un achat de nouveau matériel, destiné à remplacer plusieurs serveurs de stockage hétérogènes.

Dans ce numéro...


On dirait un buzz-word, un peu comme le cloud, mais c'est un fait : la masse de données devient énorme, et ce aussi bien en milieu professionnel que sur le plan privé pour son « petit » usage personnel. Il est vrai qu'il existe une tendance naturelle chez tout bon informaticien à ne jamais rien effacer (voire ne jamais rien jeter).
La gestion des capabilities est un mécanisme de sécurité du noyau Linux concourant à assurer un confinement d’exécution des applications s’exécutant sur le système en affinant les possibilités d'appliquer le principe du moindre privilège.
N'en déplaise à nos amis pythonistes, PHP est un langage infiniment supérieur à Python par bien des points. Je vais tenter par cet article de convertir quelques brebis égarées et de les ramener dans le droit chemin. Abandonnez Python au profit de PHP !
Historique : À l'origine, MIMEDefant est un développement de David F. Skoll financé par le Collège royal des médecins et chirurgiens du Canada en 2000 afin de les aider à endiguer le déluge de virus propagés par messagerie électronique sur le réseau informatique du collège. Le logiciel fut conçu pour filtrer les pièces jointes et s'est tout d'abord nommé MIMESweeper, puis MIMEDefanger et, finalement, MIMEDefang. David Skoll annonça la naissance de son programme au public le 28 août 2000. Le 21 décembre 2001, une version incorporant le support de SpamAssassin est publiée, permettant ainsi à MIMEDefang de filtrer à la fois les virus et les spams. La société de David Skoll, Roaring Penguin Software, commercialise un produit antispam appelé CanIt qui est construit au dessus de la version libre de MIMEDefang. Je pompe cette histoire de MIMEDefang directement depuis la version anglaise de Wikipédia. Pour me faire pardonner ma paresse, j'ai traduit le (modeste) article sur MIMEDefang dans l'encyclopédie en ligne vers sa version française.
Pour de sombres raisons de licence, le système de fichiers ZFS n'est pas disponible dans le kernel Linux. Pour en profiter, il faut soit passer pas FUSE, soit installer un OpenSolaris, soit utiliser FreeBSD. C'est cette dernière solution qui a été retenue.
Cela fait quelques années que je vends du logiciel et… soit je n’ai pas de chance, soit c’est le marché qui veut ça, mais pour une application client lourd (QT,Swing,GTK…) que j’écris, je vends 3 applications Web. Ces applications Web sont des applications style « desktop », mais vivantes, soit dans un navigateur Internet « standard », soit sur le navigateur d’un téléphone/tablette. Là où ça se complique, c’est qu’une application lourde interagit rapidement et « fonctionne » sans Internet… Deux trucs « difficiles » à mettre en place pour les applications Web.Il devient assez complexe de faire comprendre à son client qu’une application Web 2.0 ne peut fonctionner sans Internet alors qu’une vieille application client lourd (Pre-Web 1.0 ?) le peut.
Juste avant qu'un programme se termine « anormalement », il peut être intéressant d'afficher la pile d'appel. Nous allons voir comment mettre cela en œuvre.
L'une des particularités de la librairie glibc, en plus d'être une librairie tampon au noyau GNU/linux,est aussi exécutable comme un processus standard.
Il arrive fréquemment dans la vie d'un développeur qu'on lui demande d'importer ou d'exporter des données depuis ou vers un format de fichier ayant une orientation tableur. Le plus souvent, il opte pour une solution à la base de fichier CSV sortant du standard pour pouvoir être ouvert sans difficulté par MS Excel. Une autre solution existe pourtant et j'avoue avoir été impressionné par sa puissance et sa facilité d'utilisation : PHPExcel.
Depuis la mi-mai, Google a annoncé lors du Google I/O que PHP était maintenant supporté par le Google App Engine, rejoignant ainsi Java, Python et Go. Il s'agissait de l'évolution la plus demandée par les utilisateurs depuis la création de App Engine.

Magazines précédents

GNU/Linux-Magazine N°163
Créez vos postes sans disque
GNU/Linux-Magazine N°162
Centralisez la gestion des logs
GNU/Linux-Magazine N°161
Boostez les performances de vos serveurs
GNU/Linux-Magazine N°159
Virtualisation avec les LinuX Containers
GNU/Linux-Magazine N°158
Votre supervision pas à pas avec Zabbix

Les derniers articles Premiums

Les derniers articles Premium

La place de l’Intelligence Artificielle dans les entreprises

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

L’intelligence artificielle est en train de redéfinir le paysage professionnel. De l’automatisation des tâches répétitives à la cybersécurité, en passant par l’analyse des données, l’IA s’immisce dans tous les aspects de l’entreprise moderne. Toutefois, cette révolution technologique soulève des questions éthiques et sociétales, notamment sur l’avenir des emplois. Cet article se penche sur l’évolution de l’IA, ses applications variées, et les enjeux qu’elle engendre dans le monde du travail.

Petit guide d’outils open source pour le télétravail

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Ah le Covid ! Si en cette période de nombreux cas resurgissent, ce n’est rien comparé aux vagues que nous avons connues en 2020 et 2021. Ce fléau a contraint une large partie de la population à faire ce que tout le monde connaît sous le nom de télétravail. Nous avons dû changer nos habitudes et avons dû apprendre à utiliser de nombreux outils collaboratifs, de visioconférence, etc., dont tout le monde n’était pas habitué. Dans cet article, nous passons en revue quelques outils open source utiles pour le travail à la maison. En effet, pour les adeptes du costume en haut et du pyjama en bas, la communauté open source s’est démenée pour proposer des alternatives aux outils propriétaires et payants.

Sécurisez vos applications web : comment Symfony vous protège des menaces courantes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les frameworks tels que Symfony ont bouleversé le développement web en apportant une structure solide et des outils performants. Malgré ces qualités, nous pouvons découvrir d’innombrables vulnérabilités. Cet article met le doigt sur les failles de sécurité les plus fréquentes qui affectent même les environnements les plus robustes. De l’injection de requêtes à distance à l’exécution de scripts malveillants, découvrez comment ces failles peuvent mettre en péril vos applications et, surtout, comment vous en prémunir.

Bash des temps modernes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les scripts Shell, et Bash spécifiquement, demeurent un standard, de facto, de notre industrie. Ils forment un composant primordial de toute distribution Linux, mais c’est aussi un outil de prédilection pour implémenter de nombreuses tâches d’automatisation, en particulier dans le « Cloud », par eux-mêmes ou conjointement à des solutions telles que Ansible. Pour toutes ces raisons et bien d’autres encore, savoir les concevoir de manière robuste et idempotente est crucial.

Body