Accélérez vos traitements en développant votre propre solution de parallélisation

Magazine
Marque
GNU/Linux Magazine
Numéro
244
Mois de parution
janvier 2021
Spécialité(s)


Résumé

Certains de vos traitements lancés par des scripts shell s'exécutent bien trop lentement à votre goût, alors que certaines tâches séquentielles pourraient en fait s'exécuter simultanément : cet article va vous montrer de façon détaillée comment les accélérer en les parallélisant.


Si vous avez beaucoup travaillé sur GNU/Linux ou un autre OS de type Unix, il vous est probablement déjà arrivé de trouver qu'une tâche séquentielle que vous aviez lancée mettait beaucoup trop longtemps à s'exécuter, alors qu'elle aurait pu être décomposée en plusieurs sous-tâches indépendantes les unes des autres, pouvant s'exécuter en parallèle. Le problème qui se pose souvent pour passer de la méthode séquentielle à la méthode parallèle est que le découpage n'est pas toujours immédiat, ou qu'aucune solution de parallélisation n'est disponible rapidement. Les comportements généralement adoptés face à un tel problème sont les suivants :

  • vous prenez votre mal en patience et faites autre chose en attendant la fin d'une longue exécution séquentielle ;
  • vous cherchez sur Internet une solution de parallélisation qui pourrait convenir parfaitement à votre besoin, mais les solutions que vous trouvez…
La suite est réservée aux abonnés. Il vous reste 97% à découvrir.
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Envie de lire la suite ? Rejoignez Connect
Je m'abonne maintenant


Article rédigé par

Par le(s) même(s) auteur(s)

Le temps sous Linux - 3e volet

Magazine
Marque
GNU/Linux Magazine
Numéro
273
Mois de parution
janvier 2025
Spécialité(s)
Résumé

Ce troisième volet de la gestion du temps sous Linux présente les fonctions permettant d'interrompre momentanément l'exécution des processus ou des threads, ou d'envoyer un signal après une durée programmée, ainsi que celles permettant de gérer les timestamps des fichiers et le temps CPU consommé par les processus.

Le temps stocké dans les données

Magazine
Marque
SysOps Pratique
Numéro
146
Mois de parution
novembre 2024
Spécialité(s)
Résumé

Des références temporelles peuvent se trouver à de multiples endroits, tels que les fichiers de logs, de données, de configuration, d'état, ou dans des résultats de commandes. Elles peuvent désigner, par exemple, des horodatages (timestamps d'événements) ou des paramètres de configuration. Cet article présente quelques exemples de localisation ou de manipulation de ces données.

Le temps sous Linux - deuxième volet

Magazine
Marque
GNU/Linux Magazine
Numéro
270
Mois de parution
juillet 2024
Spécialité(s)
Résumé

Ce deuxième volet de la série consacrée à la gestion du temps sous Linux décrit les fonctions de gestion de l’horloge ainsi que celles de manipulation du temps, dates et durées, et notamment les diverses fonctions de conversion de formats. Des exemples d’utilisation sont donnés sous forme de petits programmes en langage C.

Les commandes liées au temps

Magazine
Marque
SysOps Pratique
Numéro
144
Mois de parution
juillet 2024
Spécialité(s)
Résumé

De nombreuses commandes sont liées au temps, en termes de référence ou de durée. Cet article en liste quelques-unes, parfois présentées avec des exemples utilisant certaines options relatives aux dates, aux durées, ou à leur format d'affichage.

Les listes de lecture

Python niveau débutant

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.

Au pays des algorithmes

11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.

Analyse de données en Python

10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Plus de listes de lecture