Numéro précédent
N°254, Créez votre API Rest en Python
Couverture
Techniques & outils de Web Scraping avancé
GNU/Linux Magazine N°
Numéro
255

Techniques & outils de Web Scraping avancé

Temporalité
Janvier/Février 2022
Dans ce numéro
Image v3
Techniques & outils de Web Scraping avancé
Article mis en avant

Web scraping avec Puppeteer

Résumé

Dans un précédent article [1], je vous avais montré comment scraper le contenu de pages HTML, grâce à NodeJS et à quelques packages complémentaires. La technique que j’avais utilisée fonctionnait très bien avec des pages statiques, mais elle se prêtait mal au scraping de pages générées dynamiquement. Pour régler ce problème, je vais vous présenter une alternative, reposant sur le projet Puppeteer, un package NPM très polyvalent.

Lire la suite

Découvrez nos autres éditions

Tous les numéros standards
Tous les numéros
N°278
Novembre/Décembre 2025
Créez votre premier rootkit !
N°277
Septembre/Octobre 2025
Vous ne comprenez pas Git !
N°276
Juillet/Août 2025
Programmez votre premier Honeypot SSH
N°275
Mai/Juin 2025
Revue de code automatisée avec GitHub et SonarQube
N°274
Mars/Avril 2025
Java 23, votre prochain langage de script ?
N°273
Janvier/Février 2025
Accédez au matériel PCIe depuis vos VM !
N°272
Novembre/Décembre 2024
Créez une authentification sans mot de passe avec OpenPGP !
N°271
Septembre/Octobre 2024
Programmez votre propre VPN !
N°270
Juillet/Août 2024
Créez votre processeur !
N°269
Mai/Juin 2024
Embarquez Lua dans vos programmes !
N°268
Mars/Avril 2024
Maîtrisez les macros Rust !
N°267
Janvier/Février 2024
Progressive Web App - Développez une fois, déployez partout !
N°266
Novembre/Décembre 2023
Alliez tests et DevSecOps !
N°265
Septembre/Octobre 2023
Automatisez la construction et la diffusion du code avec GoReleaser
N°264
Juillet/Août 2023
Découvrez la cryptographie avec Erlang/OTP
N°263
Mai/Juin 2023
Automatisez vos développements avec Jenkins & GitLab
N°262
Mars/Avril 2023
Développez vos applications desktop en Go !
N°261
Janvier/Février 2023
Python 3.11 - Tour d’horizon des nouveautés en pratique
N°260
Novembre/Décembre 2022
Détournez l’exécution de binaires
N°259
Septembre/Octobre 2022
Développez pour Kubernetes !
N°258
Juillet/Août 2022
Créez votre première application de réalité virtuelle et entrez dans le Metaverse
N°257
Mai/Juin 2022
Machine learning & fake news : l'IA est-elle la solution ?
N°256
Mars/Avril 2022
Boostez vos codes Django avec Elastic APM
N°255
Janvier/Février 2022
Techniques & outils de Web Scraping avancé
N°254
Décembre 2021
Créez votre API Rest en Python
N°253
Novembre 2021
Cryptomonnaies : découvrez les NFT !
N°252
Octobre 2021
Réalisez simplement des interfaces graphiques avec Python & Qt5
N°251
Septembre 2021
Les coroutines, une autre vision de la programmation multi-tâches
N°250
Juillet/Août 2021
Poetry + Cookiecutter : simplifiez vos projets Python !
N°249
Juin 2021
Développez votre interface vocale
N°248
Mai 2021
Progressive Web Apps & Flutter : le futur du dev mobile !
N°247
Avril 2021
Conjuguez Deep Learning & Edge Computing avec la Nvidia Jetson
N°246
Mars 2021
Optimisez le machine learning avec la programmation différentiable
N°245
Février 2021
Ne ratez pas la révolution Rust !
N°244
Janvier 2021
Découvrez Skimage, une alternative à OpenCV pour la reconnaissance d'images
N°243
Décembre 2020
Basculez tous vos développements vers VSCode
N°242
Novembre 2020
Techniques d'obfuscation de code : comprendre les méthodes pour protéger ses sources
N°241
Octobre 2020
Analysez les tendances des recherches grâce à l'API Google Trends
N°240
Septembre 2020
Accélérez vos codes avec Numba !
N°239
Juillet/Août 2020
IA : créez une Fake Cam
N°238
Juin 2020
CMake & Ninja : le duo gagnant !
N°237
Mai 2020
Exploitez vraiment votre processeur !
N°236
Avril 2020
Systèmes multi-agents : simulez la propagation d'un virus
N°235
Mars 2020
Explorez Enigma !
N°234
Février 2020
Réalisez vos deepfakes avec les réseaux génératifs antagonistes
N°233
Janvier 2020
Passez vos réseaux de neurones à la vitesse supérieure avec l'Intel Neural Compute Stick 2
N°232
Décembre 2019
Découvrez les 10 principales nouveautés de Python 3.8 !
N°231
Novembre 2019
Créez votre première application Blockchain
N°230
Octobre 2019
Créez votre premier cortex visuel
N°229
Septembre 2019
Tirez le meilleur de GIT
N°228
Juillet/Août 2019
Simulez un ordinateur quantique
N°227
Juin 2019
Sécurisez votre code Java avec des conteneurs grâce à Quarkus
N°226
Mai 2019
Déploiement automatique de Linux grâce à PXE, BOOTP & TFTP
N°225
Avril 2019
Découvrez Prometheus : le monitoring simple, efficace et scalable !
N°224
Mars 2019
Mettez Linux à l'écoute des ondes !
N°223
Février 2019
« Compiler » ses scripts Python
N°222
Janvier 2019
Chroot, Machine virtuelle ou Conteneur ?
N°221
Décembre 2018
Testez les langages de demain !
N°220
Novembre 2018
Utilisez la technologie derrière Alexa et Siri
N°219
Octobre 2018
Humain ou robot ? Créez et testez votre chatbot !
N°218
Septembre 2018
Wireguard : OpenVPN killer ?
N°217
Juillet/Août 2018
ZSH : cette fois vous pouvez vraiment oublier Bash !
N°216
Juin 2018
Machine Learning et apprentissage automatique
N°215
Mai 2018
Votre animal de compagnie virtuel !
N°214
Avril 2018
Jouez avec les nombres premiers pour comprendre le chiffrement RSA !
N°213
Mars 2018
Corrigez un Kernel Panic et soumettez un patch !
N°212
Février 2018
Lâchez vos agents de recherche sur le Web !
N°211
Janvier 2018
OpenCV : construisez un modèle 3D à partir d'une simple photo
N°210
Décembre 2017
La chasse aux pirates est ouverte : mettez en place votre premier Honeypot !
N°209
Novembre 2017
Maîtrisez la gestion avancée de SMS sans vous ruiner !
N°208
Octobre 2017
Détectez l'apparition d'objets "abandonnés" dans un flux vidéo !
N°207
Septembre 2017
Deep Learning en pratique : recherchez des objets dans une collection d'images !
N°206
Juillet/Août 2017
Faites du jeu Duke Nukem 3D un outil Sysadmin !
N°205
Juin 2017
Prenez-vous pour Dieu : créez la vie !
N°204
Mai 2017
Prédisez les saisies de vos utilisateurs avant qu'ils ne sachent eux-même quoi écrire
N°203
Avril 2017
Mettez en place un système de reconnaissance faciale !
N°202
Mars 2017
Donnez un cerveau à votre PC !
N°201
Février 2017
Créez votre premier virus en Python !
N°200
Janvier 2017
Créez une application pour votre TV connectée !
N°199
Décembre 2016
Créez un robot qui fouille le Web pour vous !
N°198
Novembre 2016
Réseaux de neurones & reconnaissance de symboles manuscrits
N°197
Octobre 2016
Réalité Augmentée - Intégrez vos objets 3D dans le monde réel avec ARToolKit
N°196
Septembre 2016
Créez votre première intelligence artificielle !
N°195
Juillet/Août 2016
Vision assistée par ordinateur
N°194
Juin 2016
Créez votre première application graphique en GTK+ !
N°193
Mai 2016
Synthèse vocale - Faites parler votre ordinateur !
N°192
Avril 2016
Créez un cluster haute disponibilité avec MySQL/MariaDB
N°191
Mars 2016
Réalité virtuelle
N°190
Février 2016
Automatisez vos conteneurs avec Docker & Ansible !
N°189
Janvier 2016
Découvrez et utilisez Google Polymer, un framework web vraiment modulaire !
N°188
Décembre 2015
Reconnaissance vocale avec Python et Pocketsphinx
N°187
Novembre 2015
Reprenez le contrôle de vos sauvegardes avec Backup Checker !
N°186
Octobre 2015
Diagnostiquez facilement votre système avec Sysdig !
N°185
Septembre 2015
Créez votre cluster de calcul
N°184
Juillet/Août 2015
Décompilez une application Android !
N°183
Juin 2015
Nos conseils pour optimiser vos programmes
N°182
Mai 2015
Dissimulez vos informations !
N°181
Avril 2015
Maîtrisez les algorithmes de compression !
N°180
Mars 2015
Utilisez Ceph, le système de fichiers distribué haute performance !
N°179
Février 2015
Optimisez l'exécution de vos codes Python !
N°178
Janvier 2015
Automatisez l'installation de vos serveurs avec Ansible !
N°177
Décembre 2014
Comprenez la cryptographie !
N°176
Novembre 2014
Quel est le langage le plus performant ?
N°175
Octobre 2014
Créez votre propre langage de programmation
N°174
Septembre 2014
Virtualisation et sécurité avec Docker
N°173
Juillet/Août 2014
Exploitez pleinement les performances du multicoeur grâce aux futex !
N°172
Juin 2014
Maîtrisez votre serveur http Nginx grâce à la souplesse du langage Lua et aux outils d'OpenResty !
N°171
Mai 2014
Rendez vos programmes vivants avec les algorithmes génétiques
N°170
Avril 2014
Installez votre premier serveur Asterisk et filtrez les télévendeurs !
N°169
Mars 2014
Routage OSPF avec BIRD !
N°168
Février 2014
Maintenant vous n'avez plus le choix... Chiffrez avec GnuPG !
N°167
Janvier 2014
Administrez et configurez le kernel
N°166
Décembre 2013
Orchestration enfin simple avec SALT
N°165
Novembre 2013
Installez votre serveur LDAP
N°164
Octobre 2013
Retour d'expérience : Big Data, parallélisez et accélérez vos transferts de fichiers
N°163
Septembre 2013
Créez vos postes sans disque
N°162
Juillet/Août 2013
Centralisez la gestion des logs
N°161
Juin 2013
Boostez les performances de vos serveurs
N°160
Mai 2013
Diagnostiquez et réparez votre serveur facilement !
N°159
Avril 2013
Virtualisation avec les LinuX Containers
N°158
Mars 2013
Votre supervision pas à pas avec Zabbix
N°157
Février 2013
Déployez votre serveur Samba
N°156
Janvier 2013
Jouons avec le C !
N°155
Décembre 2012
Administrer MySQL
N°154
Novembre 2012
DNS/Bind démystifié !
N°153
Octobre 2012
Systemd prêt à remplacer INIT ...ou pas !
N°152
Septembre 2012
Protégez vos applications web
N°151
Juillet/Août 2012
Installez votre groupware Kolab
N°150
Juin 2012
Créez votre VPN avec OpenVPN
N°149
Mai 2012
Migrez votre système de fichiers vers BTRFS !
N°148
Avril 2012
Émulez une nouvelle machine dans QEMU
N°147
Mars 2012
Visite au coeur de l'émulateur QEMU
N°146
Février 2012
Débarassez-vous de votre serveur mail !
N°145
Janvier 2012
Gérez vos sources & projets proprement !
N°144
Décembre 2011
Jouons avec le Kernel
N°143
Novembre 2011
Installez une solution Single Sign-on complète et multiplateforme avec Kerberos
N°142
Octobre 2011
Testez le cloud pour vos dépôts RPMS avec Amazon S3
N°141
Septembre 2011
Oubliez Nice/Renice et utilisez Noyau & CGroups pour gérer les groupes de processus
N°140
Juillet/Août 2011
Simplifiez et automatisez la gestion de votre virtualisation avec Libvirt, Virtmanager et Centos
N°139
Juin 2011
Découvrez les nouveautés Debian 6.0
N°138
Mai 2011
Centralisez la gestion des authentifications X.509 + SSH
N°137
Avril 2011
Renforcez la sécurité de vos connexions distantes avec OpenSSH et les certificats
N°136
Mars 2011
OpenLDAP : installation, sécurisation, réplication
N°135
Février 2011
Administration distante d'un parc dynamique et hétérogène avec Fabric
N°134
Janvier 2011
Virtualisation avec Xen 4
N°133
Décembre 2010
Clustering et systèmes de fichiers répartis avec Red Hat Cluster Suite
N°132
Novembre 2010
Configurez et optimisez un antispam adaptif avec DSPAM
N°131
Octobre 2010
PostgreSQL 9.0 - Installation, configuration et mise en oeuvre
N°130
Septembre 2010
Installation et configuration complète d'un Groupware libre avec Kolab
N°129
Juillet/Août 2010
Développez vos propres sondes Nagios !
N°128
Juin 2010
Detection d'intrusion avec l'HIDS OSSEC
N°127
Mai 2010
QOS & contrôle du trafic
N°126
Avril 2010
NGINX HTTP : serveur web et reverse proxy orientés performance
N°125
Mars 2010
Cherokee Web Server : rapide, flexible et facile à configurer !
N°124
Février 2010
Construisez simplement votre portail Wifi captif avec Chillispot et CAS
N°123
Janvier 2010
Solution Single Sign-on
N°122
Décembre 2009
Nouveautés du Kernel 2.6.32
N°121
Novembre 2009
Virtualisez votre réseau avec Netkit ou VDE2
N°120
Octobre 2009
PKI OpenSSL en pratique avec EJBCA, Java et JBOSS
N°119
Septembre 2009
ClamAV face aux produits propriétaires
N°118
Juillet/Août 2009
Stockage réseau : mise en oeuvre et sécurisation
N°117
Juin 2009
Apache CouchDB - Introduction, installation et utilisation
N°116
Mai 2009
Construisez et administrez votre VPN L2TP/IPSEC avec OpenSSL, OpenSwan, PPP et XL2TPD
N°115
Avril 2009
Créez et personnalisez votre système Debian 5.0 Live sur CD/DVD ou clef USB
N°114
Mars 2009
Passez à ZFS ! Le système de fichiers révolutionnaire
N°113
Février 2009
Single Sign-On/SSO et authentification web centralisée avec CAS-Toolbox
N°112
Janvier 2009
Besoin d'une solution centralisée et efficace d'administration système ? Installez et déployez Puppet !
N°111
Décembre 2008
18 recettes pour tirer le meilleur d'OpenLDAP
Tous les numéros hors-séries
Tous les numéros
N°124
Avril/Mai 2023
Développement web avec PHP & Symfony
N°123
Février/Mars 2023
Rust par la pratique !
N°122
Décembre 2022/Janvier 2023
Dossier spécial C++20 - Tout ce que vous devez savoir en pratique sur le nouveau standard !
N°121
Octobre/Novembre 2022
Introduction à la Télémétrie avec OpenTelemetry
N°120
Juin/Juillet 2022
Créez vos interfaces graphiques & IHM en Python
N°119
Avril/Mai 2022
Les nouvelles approches du développement web
N°118
Février/Mars 2022
Big data - Du stockage au traitement...
N°117
Novembre/Décembre 2021
Les bases de l'IA - Bien débuter en Intelligence Artificielle
N°116
Septembre/Octobre 2021
Les cryptomonnaies en pratique
N°115
Juillet/Août 2021
Hyper automatisation
N°114
Mai/Juin 2021
Déployez vos agents sur la Toile... Web scraping & agents de recherche
N°113
Mars/Avril 2021
Code Legacy ...ou comment maintenir vos vieux codes encore en production
N°112
Janvier/Février 2021
Spécial développeur : la boîte à outils indispensable !
N°111
Novembre/Décembre 2020
Débogage : outils et méthodes pour traquer les erreurs
N°110
Septembre/Octobre 2020
Python 3 pour débuter en programmation
N°109
Juillet/Août 2020
Programmez avec un moteur 3D !
N°108
Mai/Juin 2020
Codez une fois, développez partout !
N°107
Mars/Avril 2020
GIT - Maîtrisez le versionning de code
N°106
Janvier/Février 2020
Initiez-vous au Machine Learning en pratique avec TensorFlow et Keras
N°105
Novembre/Décembre 2019
Spécial DevOps - La boîte outils indispensable !
N°104
Septembre/Octobre 2019
Conteneurs : utilisation avancée & microservices
N°103
Juillet/Août 2019
Développez des extensions & plugins pour améliorer vos applications
N°102
Mai/juin 2019
Scripts Shell : bonnes pratiques et techniques avancées
N°101
Mars/Avril 2019
Big Data & Data Mining : analysez vos données !
N°100
Janvier/Février 2019
Deep Learning : de la théorie à la pratique
N°99
Novembre/Décembre 2018
Comprendre les attaques sur le Wifi
N°98
Septembre/Octobre 2018
Comprenez enfin tout sur... les conteneurs !
N°97
Juillet/Août 2018
Les bonnes pratiques du développement sécurisé
N°96
Mai/Juin 2018
Vision assistée par ordinateur avec OpenCV
N°95
Mars/Avril 2018
Mémo Python - Saison 2 : 59 nouvelles recettes pour accélérer vos développements !
N°94
Janvier/Février 2018
Machine Learning : le guide pratique pour démarrer en Intelligence Artificielle
N°93
Novembre/Décembre 2017
Sécurisez votre infrastructure Linux
N°92
Septembre/Octobre 2017
Le guide indispensable pour installer et configurer votre VPN
N°91
Juillet/Août 2017
Créez, publiez & monétisez votre application avancée Android
N°90
Mai/Juin 2017
Programmation réseau en Python
N°89
Mars/Avril 2017
Maîtrisez la programmation de scripts Shell
N°88
Janvier/Février 2017
Créez votre base de données MySQL MariaDB en 5 étapes
N°87
Novembre/Décembre 2016
Kernel - Le guide pour plonger au coeur de votre système GNU/Linux
N°86
Septembre/Octobre 2016
Mémo Python - 75 recettes pour accélérer vos développements
N°85
Juillet/Août 2016
Node.js - Initiez-vous à la programmation serveur & desktop en JavaScript
N°84
Mai/Juin 2016
Surveillance - Tester les techniques pour mieux se défendre !
N°83
Mars/Avril 2016
Débutez en C++
N°82
Janvier/Février 2016
Créez votre première application Android
N°81
Novembre/Décembre 2015
Le guide pour apprendre à programmer en Java en 5 jours !
N°80
Septembre/Octobre 2015
Le guide pour apprendre à programmer en C en 5 jours !
N°79
Juillet/Août 2015
PHP efficace
N°78
Mai/Juin 2015
Analyse de données & Big Data
N°77
Mars/Avril 2015
Programmation orientée objet
N°76
Janvier/Février 2015
Securité & Linux
N°75
Novembre/Décembre 2014
Raspberry Pi
N°74
Septembre/Octobre 2014
Les systèmes BSD
N°73
Juillet/Août 2014
Python : niveau avancé à expert
N°72
Mai/Juin 2014
Ligne de commandes
N°71
Mars/Avril 2014
Je programme
N°70
Janvier/Février 2014
Langage C
N°69
Novembre/Décembre 2013
Exploiter au mieux votre projet open source
N°68
Septembre/Octobre 2013
Serveurs, le guide pour créer et gérer vos services à la carte
N°67
Juillet/Août 2013
MySQL et bases de données
N°66
Mai/Juin 2013
Apache, le guide complet
N°65
Mars/Avril 2013
Python avancé
N°64
Janvier/Février 2013
Programmation : initiation, embarqué et microcontrôleurs
N°63
Novembre/Décembre 2012
Apprenez à programmer en Go !
N°62
Septembre/Octobre 2012
Ne quittez plus vos serveurs des yeux !
N°61
Juillet/Août 2012
Créez vos applications Android comme un pro !
N°60
Mai/Juin 2012
20 recettes pour développer vos applications Android
N°59
Mars/Avril 2012
Django, le framework Python pour les perfectionnistes pressés...
N°58
Janvier/Février 2012
ZEND Framework 2
N°57
Novembre/Décembre 2011
Carnet de Root
N°56
Septembre/Octobre 2011
Java
N°55
Juillet/Août 2011
Spécial C et C++
N°54
Mai/Juin 2011
Spécial PHP
N°53
Mars/Avril 2011
Initiation à Python
N°52
Janvier/Février 2011
Développement Android
N°51
Novembre/Décembre 2010
Hacks, électronique & embarqué
N°50
Septembre/Octobre 2010
Installation, configuration et optimisation de votre serveur web Apache
N°49
Juillet/Août 2010
Incontournable Python
N°48
Mai/Juin 2010
Besoin d'un serveur polyvalent, rapide et sur mesure ? Debian
N°47
Mars/Avril 2010
Voyage au centre de l'embarqué
N°46
Janvier/Février 2010
Focus sur les outils pour mieux exploiter Linux
N°45
Novembre/Décembre 2009
Retour d'expériences pour sysadmin - 10 solutions concrètes
N°44
Septembre/Octobre 2009
Introduction, configuration et utilisation avancée de PostgreSQL 8.4
N°43
Juillet/Août 2009
Electronique, embarqué et hacks
N°42
Mai/Juin 2009
Supervision et surveillance
N°41
Mars/Avril 2009
Configurez et optimisez votre firewall
N°40
Janvier/Février 2009
Explorez les richesses du langage Python