Scanners de vulnérabilités, spam-bots, robot d’indexation, offre de location de robots pour faire des stress tests (euphémisme pour parler de DDOS), plus de la moitié du trafic sur Internet est attribuée à des bots. Je vous propose d’augmenter cette statistique en apprenant comment créer un ensemble d’agents qui vont aller récupérer des données sur Internet de manière automatique.
Vous allez voir que des outils puissants existent en Python pour simuler la navigation d’un utilisateur et traiter les données récupérées. Associés à une modélisation et une conception réfléchie il est extrêmement simple de créer une armée de web-scrapper à son service. Pour illustrer cela concrètement, nous allons créer ensemble un programme qui va récupérer de manière périodique les dernières annonces immobilières depuis différentes sources (leboncoin, SeLoger, ParuVendu, etc.) à partir d’une recherche donnée.
Selon l’utilisation que vous faites des données...
- Accédez à tous les contenus de Connect en illimité
- Découvrez des listes de lecture et des contenus Premium
- Consultez les nouveaux articles en avant-première