Mais quelle est la meilleure méthode pour transférer un grand nombre de petits fichiers ?

Magazine
Marque
GNU/Linux Magazine
Numéro
211
Mois de parution
janvier 2018
Spécialité(s)


Résumé
À l’heure des webservices et des websockets le transfert d’informations par fichiers peut sembler obsolète. Obsolète ou pas, il est fréquemment utilisé en entreprise. Mais derrière ce sujet simple peuvent se cacher des problèmes de performance…

Dans les entreprises qui ont des échanges de « flux » avec des partenaires, il arrive souvent que ces flux soient simplement des échanges de fichiers, via ftp dans le pire des cas, via sftp souvent et quelques fois via d’autres solutions plus lourdes (CFT, etc.).

1. Posons le problème

Une entreprise doit récupérer chez un partenaire un certain nombre de fichiers par lots. Ces fichiers sont petits (petites images, fichiers XML, fichiers CSV…) et nombreux.

Les fichiers sont récupérés chez le partenaire et non pas poussés par le partenaire. Le protocole de transfert utilisé est le sftp avec échange de clés.

On ne connaît pas le nom des fichiers à l’avance, on connaît simplement le dossier de dépôt, ainsi qu’un pattern de nom : par exemple "achats-*.csv".

Nous allons étudier différentes méthodes de transfert, et voir laquelle est la plus avantageuse.

2. La problématique des couches maison

Dans une entreprise qui a un peu de vécu, les échanges de fichiers avec...

Cet article est réservé aux abonnés. Il vous reste 91% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne


Article rédigé par

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous