Mais quelle est la meilleure méthode pour transférer un grand nombre de petits fichiers ?

Magazine
Marque
GNU/Linux Magazine
Numéro
211
Mois de parution
janvier 2018
Domaines


Résumé
À l’heure des webservices et des websockets le transfert d’informations par fichiers peut sembler obsolète. Obsolète ou pas, il est fréquemment utilisé en entreprise. Mais derrière ce sujet simple peuvent se cacher des problèmes de performance…

Dans les entreprises qui ont des échanges de « flux » avec des partenaires, il arrive souvent que ces flux soient simplement des échanges de fichiers, via ftp dans le pire des cas, via sftp souvent et quelques fois via d’autres solutions plus lourdes (CFT, etc.).

1. Posons le problème

Une entreprise doit récupérer chez un partenaire un certain nombre de fichiers par lots. Ces fichiers sont petits (petites images, fichiers XML, fichiers CSV…) et nombreux.

Les fichiers sont récupérés chez le partenaire et non pas poussés par le partenaire. Le protocole de transfert utilisé est le sftp avec échange de clés.

On ne connaît pas le nom des fichiers à l’avance, on connaît simplement le dossier de dépôt, ainsi qu’un pattern de nom : par exemple "achats-*.csv".

Nous allons étudier différentes méthodes de transfert, et voir laquelle est la plus avantageuse.

2. La problématique des couches maison

Dans une entreprise qui a un peu de vécu, les échanges de fichiers avec...

Cet article est réservé aux abonnés. Il vous reste 91% à découvrir.
à partir de 21,65€ HT/mois/lecteur pour un accès 5 lecteurs à toute la plateforme
J'en profite


Articles qui pourraient vous intéresser...

Générer et manipuler des images ISO

Magazine
Marque
Linux Pratique
Numéro
124
Mois de parution
mars 2021
Domaines
Résumé

Quand bien même leur usage s’est quelque peu atténué au profit d’autres supports de stockage de masse depuis plusieurs années, les CD-ROM et autres DVD-ROM ont toujours une utilité en 2020 : stockage de données, création de disques bootables (pour distributions GNU/Linux entre autres), disques multimédias... S’il est vrai que sa durée de vie a été surestimée à une époque (peut-être pour favoriser son utilisation), la bonne vieille galette n’est pas encore morte, et il lui reste encore de beaux jours à vivre.

Gérez vos projets Git en mode graphique avec GitKraken

Magazine
Marque
Linux Pratique
Numéro
124
Mois de parution
mars 2021
Domaines
Résumé

Je vous ai précédemment présenté GitLab [0], une forge logicielle utilisant Git vous permettant une gestion globale de vos projets en équipe. Comme nous l’avions vu, une connaissance minimale de Git était nécessaire pour l’utilisation de GitLab. Certains de vos collaborateurs ne sont peut-être pas à l’aise avec la ligne de commandes, ne veulent tout simplement pas l’utiliser ou encore ne veulent pas apprendre la syntaxe des commandes Git. GitKraken [1] est fait pour eux. Il leur permettra de réaliser toutes les opérations Git à l’aide d’une interface graphique.

Le DevOps en pratique

Magazine
Marque
Linux Pratique
Numéro
124
Mois de parution
mars 2021
Domaines
Résumé

Aujourd’hui, le terme DevOps est au cœur de la transformation digitale. En effet, lorsqu’on évoque l’agilité dans le cycle de vie de développement logiciel, on est amené à pratiquer des méthodologies permettant d’accélérer d’une part le processus de développement et de fiabiliser la production logicielle d’un autre côté. Parmi ces méthodologies (Scrum, Kanban…), le DevOps est certainement celle qui a été adopté par la plupart des entreprises ayant comme activité principale ou annexe, la digitalisation de leur système d’information pour faire face au défi que représente l’essor des technologies numériques. Dans cet article, nous ferons un premier tour d’horizon de la partie outillage du DevOps. Il existe une panoplie d’outils et il est impossible de les évoquer tous dans un seul article, car chaque outil nécessiterait un ouvrage à part entière.

Découverte de la puce Titan M a.k.a Citadel

Magazine
Marque
MISC
Numéro
114
Mois de parution
mars 2021
Domaines
Résumé

La puce Titan M ou Citadel est une puce sécurisée sur laquelle repose en grande partie la sécurité des terminaux Android de Google, la gamme Pixel. Dans cet article, nous détaillerons le fonctionnement interne et les usages de ce composant pour lequel peu d’information publique est disponible à ce jour. Nous donnerons également plusieurs pistes pour aider le rétro-ingénieur à travailler sur ce projet.

Créez vos clusters avec Elasticsearch

Magazine
Marque
Linux Pratique
Numéro
124
Mois de parution
mars 2021
Domaines
Résumé

Vous êtes-vous déjà demandé comment Facebook et Google gèrent leurs immenses masses de données tout en fournissant des services rapides ? Quelle serait votre solution pour gérer une base de données avec un trafic de données abondant ? Voici quelques éléments de réponse à ces questions.