Ne cherchez plus sur le Web, laissez vos agents le faire à votre place !

Magazine
Marque
GNU/Linux Magazine
n°
Numéro
212
Mois de parution
février 2018
Auteurs
Par
Bennacef Tahar
Spécialité(s)
Code
Tag(s)
Python
Automatisation
Scraping


Résumé
Las d’aller vérifier constamment les mêmes sites web à la recherche des dernières nouveautés ? Envie de se constituer une base de données de films, de biens immobiliers, pour pouvoir ensuite l’analyser et l’exploiter ? Pourquoi ne pas automatiser la chose en créant et déployant plusieurs agents qui feront tout le travail pour vous !

Scanners de vulnérabilités, spam-bots, robot d’indexation, offre de location de robots pour faire des stress tests (euphémisme pour parler de DDOS), plus de la moitié du trafic sur Internet est attribuée à des bots. Je vous propose d’augmenter cette statistique en apprenant comment créer un ensemble d’agents qui vont aller récupérer des données sur Internet de manière automatique.

Vous allez voir que des outils puissants existent en Python pour simuler la navigation d’un utilisateur et traiter les données récupérées. Associés à une modélisation et une conception réfléchie il est extrêmement simple de créer une armée de web-scrapper à son service. Pour illustrer cela concrètement, nous allons créer ensemble un programme qui va récupérer de manière périodique les dernières annonces immobilières depuis différentes sources (leboncoin, SeLoger, ParuVendu,…

La suite est réservée aux abonnés. Il vous reste 96% à découvrir.
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Envie de lire la suite ? Rejoignez Connect
Je m'abonne maintenant


Article rédigé par

Bennacef Tahar

Bennacef Tahar
2 articles

Les listes de lecture

Python niveau débutant

9 article(s) - ajoutée le 01/07/2020
Code
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.

Au pays des algorithmes

11 article(s) - ajoutée le 01/07/2020
Algo
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.

Analyse de données en Python

10 article(s) - ajoutée le 01/07/2020
Code
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Plus de listes de lecture