Automatisation de l'extraction d'information d'une page web nécessitant une authentification

Magazine
Marque
GNU/Linux Magazine
Numéro
229
Mois de parution
septembre 2019
Domaines


Résumé
Il existe de nombreuses méthodes pour récolter des données depuis une page web. Dans cet article, nous allons voir comment faire cela en JavaScript avec un navigateur masqué. Nous visons une page nécessitant une authentification.


Nous avons déjà abordé le thème du web scraping dans Linux Magazine [1] en Pythonou encore plus récemment, dans Hackable [2] en C. Dans cet article, nous allons suivre une autre voie, celle du JavaScript et de NodeJS qui, grâce au module Puppeteer[3][4], va énormément nous simplifier la tâche.

Pour extraire des données de manière pertinente, il faut… des données ! J'ai choisi comme cible le site permettant d'accéder à l'emploi du temps de mon fils. L'intérêt est de pouvoir générer automatiquement des alertes lorsque l'emploi du temps est modifié (absence de professeur, cours décalé, etc.). Vous me direz sans doute que l'exemple, bien que pertinent, est inutile puisque cette fonctionnalité est nécessairement intégrée dans le logiciel du collège. Oui, c'est vrai. Mais ce logiciel étant développé par une entreprise privée qui héberge également les données, le proviseur adjoint a décidé de ne stocker qu'un minimum d'informations et de n'activer qu'un...

Cet article est réservé aux abonnés. Il vous reste 96% à découvrir.
à partir de 21,65€ HT/mois/lecteur pour un accès 5 lecteurs à toute la plateforme
J'en profite


Articles qui pourraient vous intéresser...

Programmation avec le 6502 : vers des jeux plus évolués

Magazine
Marque
Hackable
Numéro
37
Mois de parution
avril 2021
Domaines
Résumé

Nous savons à présent comment exploiter les capacités du 6502 et du PPU de la NES afin de faire des jeux, comme le Pac-Man présenté lors du dernier article. J'espère d'ailleurs que certains d'entre vous ont essayé, et sont parvenus à améliorer ce programme, disponible sur le GitHub du magazine. Aujourd'hui, nous allons voir que les cartouches de jeux elles-mêmes peuvent renfermer des trésors d'ingéniosité électronique, permettant d'augmenter les capacités de base de la console.

À la découverte des namespaces mount et uts

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

Le namespace mount, premier d'une longue série de namespaces a été ajouté à Linux quelques années après chroot() pour offrir plus de possibilités et de sécurité dans l'isolation des systèmes de fichiers. Introduit peu après et indéniablement plus simple, le namespace uts permet d'instancier les noms de machine. Les conteneurs sont bien entendu les premiers clients de ces fonctionnalités.

Godot : comment créer un jeu d’aventure

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

Dans cette série dont cet article est le premier, nous allons découvrir comment créer un jeu aussi complexe qu’un jeu d’aventure avec le moteur de jeu Godot. Nous verrons les différentes étapes, les obstacles et les différents outils mis à votre disposition.

C’est l’histoire d’un make…

Magazine
Marque
GNU/Linux Magazine
Numéro
247
Mois de parution
avril 2021
Domaines
Résumé

L’outil make permet de fabriquer des fichiers selon des règles de production décrites dans une syntaxe très simple. Dans cet article, nous allons explorer les grands principes de l’écriture de ces règles et pour ceux qui ne sont pas encore familiers de cet outil, vous faire regretter d’avoir attendu si longtemps pour le connaître…