Ajouter à une liste de lectureHadoop est un framework permettant la création d'applications distribuées (potentiellement sur des grappes de plusieurs milliers de serveurs) et pouvant supporter de grosses montées en charge afin de traiter des volumes de données de l'ordre du petaoctet. Il est structuré autour de plusieurs composants que nous présenterons.
L'origine du projet remonte à 2004 lorsque Google publie un article présentant le MapReduce et son système de fichiers en cluster, le GoogleFS. Le concept est repris par Doug Cutting et Yahoo pour réaliser un outil libre et gratuit, qui sera utilisé par Yahoo pour son moteur de recherche avant que ce dernier ne décide de basculer vers Bing. Aujourd'hui, Hadoop est utilisé par tous les grands acteurs devant gérer de grandes quantités de données (Facebook en étant l'exemple le plus important avec 40 Ti de données compressées ajoutées chaque jour, mais on peut citer Twitter, LinkedIn, eBay, Oracle, Microsoft ou encore Amazon).
1. Présentation succincte de Hadoop
Hadoop vous permet de traiter des données peu ou pas du tout structurées. Ce n'est pas un remplacement à des solutions actuelles fonctionnant au-dessus de serveurs de bases de données relationnelles.
C'est un outil dédié exclusivement au big data. Utiliser…
- Accédez à tous les contenus de Connect en illimité
- Découvrez des listes de lecture et des contenus Premium
- Consultez les nouveaux articles en avant-première
