Une introduction aux gestionnaires de tâches distribuées avec Celery

Magazine
Marque
Linux Pratique
Numéro
88
Mois de parution
mars 2015
Domaines


Résumé
Les gestionnaires de tâches (« task queue » en anglais) sont un mécanisme permettant de distribuer une charge de travail à plusieurs threads ou machines. La charge de travail est divisée en une multitude d'unités de travail qui sont disposées dans ce gestionnaire de tâches. Des « processus tâcherons » (workers en anglais) dédiés vont aller en permanence vérifier s'il reste des unités de travail à traiter et dans l'affirmative, prendre une des unités et l'exécuter. Les « courtiers » (brokers en anglais) servent d'agents de liaison et transmettent les messages permettant de faire circuler l'information.Celery permet de mettre en place aisément une architecture permettant de faire travailler de multiples processus tâcherons et des courtiers en bonne harmonie.

Celery est un projet écrit en Python qui fonctionne en Python 2 ou Python 3, mais pas seulement. Le protocole utilisé peut être implémenté dans divers langages et il en existe déjà pour Ruby, Node.js ou encore PHP. Il est spécifiquement conçu pour les opérations en temps réel, mais permet la planification de tâches. Nous allons détailler les concepts sur lesquels repose son fonctionnement, la manière de l'installer et de l'utiliser.

1. Installer Celery

Celery étant écrit en Python, il peut tout simplement s'installer à l'aide du gestionnaire de paquets python :

# pip install celery

Pour fonctionner correctement, il nécessite l'utilisation d'un courtier...

Cet article est réservé aux abonnés. Il vous reste 90% à découvrir.
à partir de 21,65€ HT/mois/lecteur pour un accès 5 lecteurs à toute la plateforme
J'en profite


Articles qui pourraient vous intéresser...

Retour sur une stratégie de migration à grande échelle : l’exemple de la Gendarmerie Nationale

Magazine
Marque
Linux Pratique
Numéro
125
Mois de parution
mai 2021
Domaines
Résumé

Le lieutenant-colonel Stéphane Dumond, chef de bureau IT au sein du Service des Technologies et des Systèmes d’Information de la Sécurité Intérieure a accepté de revenir avec nous sur les enjeux de la migration à grande échelle réalisée par la Gendarmerie Nationale. Vous découvrirez dans ces lignes son retour d’expérience sur le sujet, de la stratégie suivie, aux objectifs visés en passant par les difficultés rencontrées et les bénéfices constatés à court et long terme.

Tirez parti de votre environnement de travail en ligne de commandes

Magazine
Marque
Linux Pratique
Numéro
125
Mois de parution
mai 2021
Domaines
Résumé

Je vous propose de découvrir le monde merveilleux de la ligne de commandes. Pas un tutoriel pour l’utiliser, mais un ensemble d’outils pour tirer profit au maximum de cet environnement. Que vous soyez débutant ou utilisateur expérimenté, je souhaite dans cet article vous montrer comment personnaliser son apparence, vous passer de certains outils graphiques, vous faire découvrir de nouveaux utilitaires, de nouveaux usages et des alternatives à des commandes historiques connues.

À la découverte du gestionnaire de système et de services System Daemon

Magazine
Marque
Linux Pratique
Numéro
125
Mois de parution
mai 2021
Domaines
Résumé

Historiquement, les services du système GNU/Linux étaient pris en charge par ce qu’on appelait System V. Cela permettait de lancer des programmes au démarrage de l’ordinateur, mais également de gérer les niveaux d’exécution de différentes parties du système, grâce à des scripts shell placés dans le répertoire /etc/init.d. Après une courte transition par le projet upstart, une grande majorité des systèmes GNU/Linux a basculé sous Systemd (pour System Daemon), plus souple et efficace pour gérer les différents services, mais pas seulement.

À la découverte des namespaces mount et uts

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

Le namespace mount, premier d'une longue série de namespaces a été ajouté à Linux quelques années après chroot() pour offrir plus de possibilités et de sécurité dans l'isolation des systèmes de fichiers. Introduit peu après et indéniablement plus simple, le namespace uts permet d'instancier les noms de machine. Les conteneurs sont bien entendu les premiers clients de ces fonctionnalités.

Créez vos clusters avec Elasticsearch

Magazine
Marque
Linux Pratique
Numéro
124
Mois de parution
mars 2021
Domaines
Résumé

Vous êtes-vous déjà demandé comment Facebook et Google gèrent leurs immenses masses de données tout en fournissant des services rapides ? Quelle serait votre solution pour gérer une base de données avec un trafic de données abondant ? Voici quelques éléments de réponse à ces questions.