Hadoop

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
78
Mois de parution
mai 2015
Domaines


Résumé
Hadoop est un framework permettant la création d'applications distribuées (potentiellement sur des grappes de plusieurs milliers de serveurs) et pouvant supporter de grosses montées en charge afin de traiter des volumes de données de l'ordre du petaoctet. Il est structuré autour de plusieurs composants que nous présenterons.

L'origine du projet remonte à 2004 lorsque Google publie un article présentant le MapReduce et son système de fichiers en cluster, le GoogleFS. Le concept est repris par Doug Cutting et Yahoo pour réaliser un outil libre et gratuit, qui sera utilisé par Yahoo pour son moteur de recherche avant que ce dernier ne décide de basculer vers Bing. Aujourd'hui, Hadoop est utilisé par tous les grands acteurs devant gérer de grandes quantités de données (Facebook en étant l'exemple le plus important avec 40 Ti de données compressées ajoutées chaque jour, mais on peut citer Twitter, LinkedIn, eBay, Oracle, Microsoft ou encore Amazon).

1. Présentation succincte de Hadoop

Hadoop vous permet de traiter des données peu ou pas du tout structurées. Ce n'est pas un remplacement à des solutions actuelles fonctionnant au-dessus de serveurs de bases de données relationnelles.

C'est un outil dédié exclusivement au big data. Utiliser Hadoop pour traiter moins de 20 Ti de données n'est...

Cet article est réservé aux abonnés. Il vous reste 96% à découvrir.
à partir de 21,65€ HT/mois/lecteur pour un accès 5 lecteurs à toute la plateforme
J'en profite


Articles qui pourraient vous intéresser...

Gérer une base de données avec Adminer

Magazine
Marque
Linux Pratique
Numéro
121
Mois de parution
septembre 2020
Domaines
Résumé

La gestion des bases de données relationnelles est une technologie essentielle pour les entreprises. Sa complexité nécessite de disposer de logiciels pratiques et fiables pour manipuler les données avec efficacité et en toute sécurité. Adminer entre dans la catégorie poids plume de ces outils, mais ne manque pas d'arguments pour séduire les administrateurs de bases de données et les développeurs.

Garder ses secrets avec Tomb

Magazine
Marque
Linux Pratique
HS n°
Numéro
48
Mois de parution
septembre 2020
Domaines
Résumé

Pour conserver des documents privés sur un disque dur ou un support amovible, il est nécessaire d'avoir recours au chiffrement. L'outil Tomb permet de manipuler simplement des répertoires chiffrés par le standard LUKS, pensé dans un d'esprit de confort et de mobilité.

Aller plus loin avec coreboot

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
110
Mois de parution
septembre 2020
Domaines
Résumé

Rappelez-vous dans le numéro 220 de GNU/Linux Magazine, j’avais écrit un petit article sur coreboot, le BIOS libre. Je vous propose cette fois d’aller plus loin, en explorant quelques façons de sécuriser un peu le processus de boot, et plus encore.

Les utilitaires relatifs aux namespaces

Magazine
Marque
GNU/Linux Magazine
Numéro
240
Mois de parution
septembre 2020
Domaines
Résumé

Après un premier article [1] sur la notion de namespace et de conteneur avec un passage en revue des appels système, ce second opus se concentre sur les commandes mises à disposition de l’utilisateur.