Automatiser votre infrastructure Kafka pour l&#039;Event Streaming

Data / Big Data

Tag(s)

Flux

Data

Ansible

Le projet open source Apache Kafka est une plateforme, distribuée, d’event streaming, employée par de nombreuses entreprises pour implémenter leurs solutions logicielles. Mais, de manière concrète de quoi s’agit-il ? Qu’est-ce que Kafka entend par la notion d’event streaming ? Quelques éléments de réponse dans cet article d’introduction à son déploiement et utilisation.

Comme de nombreuses solutions logicielles élaborées, Kafka vient avec son jargon et ses concepts clés. Afin de bien appréhender son fonctionnement interne, nous allons donc commencer cet article en explicitant les éléments de son architecture et la terminologie utilisée par le projet pour désigner ceux-ci ainsi que la manière dont il conceptualise les données qu’il manipule.

1. Concepts clés de Kafka

Le projet Kafka se définit, avant tout, comme une plateforme d’event streaming, donc nous allons commencer par expliciter la signification de ce terme. En essence, il s’agit de capturer des données, en temps réel, depuis des sources diverses et variées, telles que des bases de données, des capteurs, des appareils mobiles, des microservices, et toutes autres sources logiciels. Après cette capture, ces informations peuvent être stockées pour être utilisées plus tard, ou être directement manipulées ou éditées, ou peuvent encore simplement déclencher...

Cet article est réservé aux abonnés. Il vous reste 95% à découvrir.

S'abonner à Connect

Accédez à tous les contenus de Connect en illimité
Découvrez des listes de lecture et des contenus Premium
Consultez les nouveaux articles en avant-première

Je m'abonne

Déjà abonné ? Connectez-vous

Article rédigé par

Sustain Developer - Red Hat

132 articles

Par le(s) même(s) auteur(s)

Déployer une application Quarkus avec Ansible

Linux Pratique

n°

139

septembre 2023

Par

Le cadre de développement et d’exécution Java nommé Quarkus, déjà évoqué dans les pages de ce magazine, est une fabuleuse solution pour implémenter des microservices, de manière légère et efficace. Aujourd’hui, dans ce nouvel article, nous proposons d’automatiser la construction et le déploiement de ce type d’application à l’aide d’Ansible.

Automatiser le déploiement d'un MOM avec Wildfly et Ansible

Linux Pratique

n°

137

mai 2023

Par

Dans de nombreuses organisations et grandes entreprises, les solutions logicielles de gestion de messages (ou MOM pour « Messaging Oriented Middleware ») sont omniprésentes. Dans cet article, nous proposons donc d’évoquer le déploiement d’une telle solution, à l’aide du serveur Java open source, Wildfly, et de manière entièrement automatisée grâce à Ansible…

Getting Things Done... avec Bash !

Linux Pratique

HS n°

avril 2023

Par

Depuis la parution de l’ouvrage du même nom, il y a 22 ans, la méthodologie Getting Things Done a fait son bonhomme de chemin. L’utilisant depuis plus de dix ans, nous vous proposons d’en faire, dans cet article, non pas une présentation détaillée, mais un retour d’expérience sur comment nous l’utilisons au quotidien et, en particulier, comment notre interpréteur shell favori, Bash, est au cœur de son outillage !

Plus d'article de cet auteur

Les derniers articles Premiums

Les derniers articles Premium

Bash des temps modernes

Contenu Premium

Par

Les scripts Shell, et Bash spécifiquement, demeurent un standard, de facto, de notre industrie. Ils forment un composant primordial de toute distribution Linux, mais c’est aussi un outil de prédilection pour implémenter de nombreuses tâches d’automatisation, en particulier dans le « Cloud », par eux-mêmes ou conjointement à des solutions telles que Ansible. Pour toutes ces raisons et bien d’autres encore, savoir les concevoir de manière robuste et idempotente est crucial.

Présentation de Kafka Connect

Contenu Premium

Par

Data / Big Data

Un cluster Apache Kafka est déjà, à lui seul, une puissante infrastructure pour faire de l’event streaming… Et si nous pouvions, d’un coup de baguette magique, lui permettre de consommer des informations issues de systèmes de données plus traditionnels, tels que les bases de données ? C’est là qu’intervient Kafka Connect, un autre composant de l’écosystème du projet.

Le combo gagnant de la virtualisation : QEMU et KVM

Contenu Premium

Par

Samhi Jordan

C’est un fait : la virtualisation est partout ! Que ce soit pour la flexibilité des systèmes ou bien leur sécurité, l’adoption de la virtualisation augmente dans toutes les organisations depuis des années. Dans cet article, nous allons nous focaliser sur deux technologies : QEMU et KVM. En combinant les deux, il est possible de créer des environnements de virtualisation très robustes.

Brève introduction pratique à ZFS

Contenu Premium

Par

Samhi Jordan

Il est grand temps de passer à un système de fichiers plus robuste et performant : ZFS. Avec ses fonctionnalités avancées, il assure une intégrité des données inégalée et simplifie la gestion des volumes de stockage. Il permet aussi de faire des snapshots, des clones, et de la déduplication, il est donc la solution idéale pour les environnements de stockage critiques. Découvrons ensemble pourquoi ZFS est LE choix incontournable pour l'avenir du stockage de données.