Hadoop : l’écosystème Big Data

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
118
Mois de parution
février 2022
Spécialité(s)


Résumé

Hadoop est un écosystème complet permettant d’adresser l’ensemble des problématiques Big Data : stockage non structuré et structuré, traitement et analyse de données, et Machine Learning. Parti de la motivation de rendre accessibles ces environnements, il est open source, modulaire, facile à déployer, administrable, et fournit de multiples accès à travers de nombreux langages et frameworks. Son architecture permet la flexibilité totale sur l’infrastructure, et garantit un coût de possession faible tout en apportant la scalabilité, la haute disponibilité et la sécurisation des données.


Au tournant des années 2000, plusieurs solutions en rupture avec la gestion traditionnelle des données ont connu des développements importants. À partir de 1998, le mouvement NoSQL (Not-only SQL) a proposé des solutions de stockage et de traitement en rupture avec les bases de données relationnelles et le modèle client-serveur associé (une application est « cliente » de la base de données à laquelle elle délègue la gestion des données). En fait, derrière NoSQL se trouvent plusieurs approches très différentes : bases de données orientées documents, entrepôts clés-valeurs, bases de données orientées colonnes… Toutes ne visent pas les mêmes objectifs. Les solutions de bases de données non relationnelles qui ne proposent que le stockage ne sont adaptées qu’à des usages où il n’est pas nécessaire de traiter les données en masse (l’analyse par exemple le nécessite). En ce qui concerne les solutions orientées Big Data, elles cherchent à couvrir...

Cet article est réservé aux abonnés. Il vous reste 95% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne


Article rédigé par

Par le(s) même(s) auteur(s)

Analyse de données avec Spark

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
118
Mois de parution
février 2022
Spécialité(s)
Résumé

Avec l’augmentation des volumes de données générées, collectées et stockées, leur traitement devient un écueil technique majeur. Que ce soit pour de l’analyse descriptive ou des traitements de Machine Learning, les solutions habituelles ne suffisent plus. Une solution open source de référence répondant à cette problématique est Apache Spark : son utilisation très simple permet facilement de passer à l’échelle du Big Data.

L’IA est partout !

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
117
Mois de parution
novembre 2021
Spécialité(s)
Résumé

L’intelligence artificielle est (re)devenue un sujet majeur de l’informatique depuis un peu plus d’une dizaine d’années. Faut-il s’attendre à des avancées majeures grâce à la puissance de ces algorithmes, ou avoir peur de libérer une force incontrôlable? Quoiqu’il en sera, entre algorithmes prédictifs, traitement de la voix et de l’image, équipements mobiles autonomes, détection de fraude, aides au diagnostic, agents interactifs intelligents… force est de reconnaître que l’IA est déjà incontournable dans (presque) tous les systèmes informatiques !

Évaluez efficacement les frameworks de Machine Learning

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
94
Mois de parution
janvier 2018
Spécialité(s)
Résumé

Le machine learning (ou apprentissage automatique) et le deep learning (apprentissage profond) font partie des thèmes les plus actifs du moment : difficile de recenser tous les frameworks libres disponibles, lequel choisir pour votre projet ou pour remporter le prochain challenge Kaggle ?

Les derniers articles Premiums

Les derniers articles Premium

Les nouvelles menaces liées à l’intelligence artificielle

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Sommes-nous proches de la singularité technologique ? Peu probable. Même si l’intelligence artificielle a fait un bond ces dernières années (elle est étudiée depuis des dizaines d’années), nous sommes loin d’en perdre le contrôle. Et pourtant, une partie de l’utilisation de l’intelligence artificielle échappe aux analystes. Eh oui ! Comme tout système, elle est utilisée par des acteurs malveillants essayant d’en tirer profit pécuniairement. Cet article met en exergue quelques-unes des applications de l’intelligence artificielle par des acteurs malveillants et décrit succinctement comment parer à leurs attaques.

Migration d’une collection Ansible à l’aide de fqcn_migration

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Distribuer du contenu Ansible réutilisable (rôle, playbooks) par l’intermédiaire d’une collection est devenu le standard dans l’écosystème de l’outil d’automatisation. Pour éviter tout conflit de noms, ces collections sont caractérisées par un nom unique, formé d’une espace de nom, qui peut-être employé par plusieurs collections (tel qu'ansible ou community) et d’un nom plus spécifique à la fonction de la collection en elle-même. Cependant, il arrive parfois qu’il faille migrer une collection d’un espace de noms à un autre, par exemple une collection personnelle ou communautaire qui passe à un espace de noms plus connus ou certifiés. De même, le nom même de la collection peut être amené à changer, si elle dépasse son périmètre d’origine ou que le produit qu’elle concerne est lui-même renommé.

Mise en place d'Overleaf Community pour l’écriture collaborative au sein de votre équipe

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Si vous utilisez LaTeX pour vos documents, vous connaissez vraisemblablement Overleaf qui vous permet de rédiger de manière collaborative depuis n’importe quel poste informatique connecté à Internet. Cependant, la version gratuite en ligne souffre de quelques limitations et le stockage de vos projets est externalisé chez l’éditeur du logiciel. Si vous désirez maîtriser vos données et avoir une installation locale de ce bel outil, cet article est fait pour vous.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 63 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous