Analyse de données avec Spark

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
118
Mois de parution
février 2022
Spécialité(s)


Résumé

Avec l’augmentation des volumes de données générées, collectées et stockées, leur traitement devient un écueil technique majeur. Que ce soit pour de l’analyse descriptive ou des traitements de Machine Learning, les solutions habituelles ne suffisent plus. Une solution open source de référence répondant à cette problématique est Apache Spark : son utilisation très simple permet facilement de passer à l’échelle du Big Data.


La problématique de passage à l’échelle (« scalabilité » ou « scaléabilité ») pour des calculs lourds ou de l’analyse de données est un sujet majeur de l’informatique, avec des implications théoriques et des problèmes de mise en œuvre tout aussi épineux. Des réponses sont proposées depuis des décennies : matériel dédié centralisé (supercalculateurs, par exemple), logiciel d’infrastructure spécialisé (depuis les RPC jusqu’à MPI en passant par OpenMP et autres), langages naturellement distribués (Julia), etc. Entre le coût extrême pour le matériel jusqu’à la complexité d’écriture de code spécifique, les inconvénients sont nombreux. Depuis à peu près 20 ans, le calcul et le traitement de données se sont généralisés sur des fermes de serveurs standard, qu’on appelle des « clusters ». L’évolution des architectures de référence pour le calcul à haute performance (HPC pour High Performance Computing) sur cette période vers...

Cet article est réservé aux abonnés. Il vous reste 96% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne


Article rédigé par

Par le(s) même(s) auteur(s)

L’IA est partout !

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
117
Mois de parution
novembre 2021
Spécialité(s)
Résumé

L’intelligence artificielle est (re)devenue un sujet majeur de l’informatique depuis un peu plus d’une dizaine d’années. Faut-il s’attendre à des avancées majeures grâce à la puissance de ces algorithmes, ou avoir peur de libérer une force incontrôlable? Quoiqu’il en sera, entre algorithmes prédictifs, traitement de la voix et de l’image, équipements mobiles autonomes, détection de fraude, aides au diagnostic, agents interactifs intelligents… force est de reconnaître que l’IA est déjà incontournable dans (presque) tous les systèmes informatiques !

Évaluez efficacement les frameworks de Machine Learning

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
94
Mois de parution
janvier 2018
Spécialité(s)
Résumé

Le machine learning (ou apprentissage automatique) et le deep learning (apprentissage profond) font partie des thèmes les plus actifs du moment : difficile de recenser tous les frameworks libres disponibles, lequel choisir pour votre projet ou pour remporter le prochain challenge Kaggle ?

Les derniers articles Premiums

Les derniers articles Premium

Sécurisez vos applications web : comment Symfony vous protège des menaces courantes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les frameworks tels que Symfony ont bouleversé le développement web en apportant une structure solide et des outils performants. Malgré ces qualités, nous pouvons découvrir d’innombrables vulnérabilités. Cet article met le doigt sur les failles de sécurité les plus fréquentes qui affectent même les environnements les plus robustes. De l’injection de requêtes à distance à l’exécution de scripts malveillants, découvrez comment ces failles peuvent mettre en péril vos applications et, surtout, comment vous en prémunir.

Bash des temps modernes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les scripts Shell, et Bash spécifiquement, demeurent un standard, de facto, de notre industrie. Ils forment un composant primordial de toute distribution Linux, mais c’est aussi un outil de prédilection pour implémenter de nombreuses tâches d’automatisation, en particulier dans le « Cloud », par eux-mêmes ou conjointement à des solutions telles que Ansible. Pour toutes ces raisons et bien d’autres encore, savoir les concevoir de manière robuste et idempotente est crucial.

Présentation de Kafka Connect

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Un cluster Apache Kafka est déjà, à lui seul, une puissante infrastructure pour faire de l’event streaming… Et si nous pouvions, d’un coup de baguette magique, lui permettre de consommer des informations issues de systèmes de données plus traditionnels, tels que les bases de données ? C’est là qu’intervient Kafka Connect, un autre composant de l’écosystème du projet.

Le combo gagnant de la virtualisation : QEMU et KVM

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

C’est un fait : la virtualisation est partout ! Que ce soit pour la flexibilité des systèmes ou bien leur sécurité, l’adoption de la virtualisation augmente dans toutes les organisations depuis des années. Dans cet article, nous allons nous focaliser sur deux technologies : QEMU et KVM. En combinant les deux, il est possible de créer des environnements de virtualisation très robustes.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 65 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous