Distribuez vos traitements Python avec Celery et Docker Swarm

Magazine
Marque
GNU/Linux Magazine
Numéro
244
Mois de parution
janvier 2021
Spécialité(s)


Résumé

Le temps, c'est de l'argent ! Alors, n'en gaspillez plus avec des traitements interminables, distribuez-les !


Le développement d'applications et de scripts implique généralement de maîtriser le temps d'exécution. Dans ce sens, il est important d'apporter une solution pour les traitements les plus lourds.

Après quelques optimisations algorithmiques, vous avez peut-être fait appel aux threads pour paralléliser les traitements qui le permettent.

Cette solution permet en effet d'exploiter au mieux votre CPU multicœur, mais n'est pas évolutive à souhait. En production, vous ne pourrez pas augmenter indéfiniment les capacités de vos processeurs et ce n'est d'ailleurs pas souhaitable. Une machine surdimensionnée coûte bien plus cher et devient un point de défaillance unique (SPOF).

Heureusement, il existe d'autres solutions bien plus évolutives comme Celery [1] que nous associerons à Docker Swarm pour simplifier le déploiement et la mise à l'échelle.

1. Un cas concret

Celery est un gestionnaire de files d'attente de tâches distribuées. En d'autres termes,...

Cet article est réservé aux abonnés. Il vous reste 96% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne


Article rédigé par

Par le(s) même(s) auteur(s)

Mise en place d’une IP virtuelle avec Corosync et Pacemaker

Magazine
Marque
GNU/Linux Magazine
Numéro
209
Mois de parution
novembre 2017
Spécialité(s)
Résumé
Dans la course à la haute disponibilité, le basculement automatique en cas de défaillance est un mécanisme incontournable pour assurer la continuité de service. Par exemple, vous pouvez avoir déployé le meilleur des répartiteurs de charge, si vous n’en déployez qu’un, vous créerez par la même occasion un point unique de défaillance. La mise en place d’une IP virtuelle va vous permettre d’éviter cela, suivez le guide...

Les derniers articles Premiums

Les derniers articles Premium

De la scytale au bit quantique : l’avenir de la cryptographie

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Imaginez un monde où nos données seraient aussi insaisissables que le célèbre chat de Schrödinger : à la fois sécurisées et non sécurisées jusqu'à ce qu'un cryptographe quantique décide d’y jeter un œil. Cet article nous emmène dans les méandres de la cryptographie quantique, où la physique quantique n'est pas seulement une affaire de laboratoires, mais la clé d'un futur numérique très sécurisé. Entre principes quantiques mystérieux, défis techniques, et applications pratiques, nous allons découvrir comment cette technologie s'apprête à encoder nos données dans une dimension où même les meilleurs cryptographes n’y pourraient rien faire.

Les nouvelles menaces liées à l’intelligence artificielle

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Sommes-nous proches de la singularité technologique ? Peu probable. Même si l’intelligence artificielle a fait un bond ces dernières années (elle est étudiée depuis des dizaines d’années), nous sommes loin d’en perdre le contrôle. Et pourtant, une partie de l’utilisation de l’intelligence artificielle échappe aux analystes. Eh oui ! Comme tout système, elle est utilisée par des acteurs malveillants essayant d’en tirer profit pécuniairement. Cet article met en exergue quelques-unes des applications de l’intelligence artificielle par des acteurs malveillants et décrit succinctement comment parer à leurs attaques.

Migration d’une collection Ansible à l’aide de fqcn_migration

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Distribuer du contenu Ansible réutilisable (rôle, playbooks) par l’intermédiaire d’une collection est devenu le standard dans l’écosystème de l’outil d’automatisation. Pour éviter tout conflit de noms, ces collections sont caractérisées par un nom unique, formé d’une espace de nom, qui peut-être employé par plusieurs collections (tel qu'ansible ou community) et d’un nom plus spécifique à la fonction de la collection en elle-même. Cependant, il arrive parfois qu’il faille migrer une collection d’un espace de noms à un autre, par exemple une collection personnelle ou communautaire qui passe à un espace de noms plus connus ou certifiés. De même, le nom même de la collection peut être amené à changer, si elle dépasse son périmètre d’origine ou que le produit qu’elle concerne est lui-même renommé.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 64 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous