Web crawler / pilote web Selenium : comment automatiser des tâches répétitives d'accès à un site web

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
105
Mois de parution
novembre 2019
Spécialité(s)


Résumé

Une tâche répétitive, qui peut s'avérer fastidieuse, se rencontre par exemple lorsqu'on doit exploiter le contenu d'un fichier fréquemment mis à jour et téléchargeable via un site web, nécessitant une navigation au travers de menus successifs ou bien lorsque l'on désire tester le comportement d'un site web. Un pilote web permet de contrôler un navigateur internet afin d'automatiser ces tâches ; les outils Selenium [1] fournissent une réponse à ce problème, au moyen d'une librairie disponible pour de nombreux langages (dont Java, Python, etc.) ou d'un IDE, permettant d'enregistrer une séquence d'actions exécutée dans le navigateur et de la rejouer, à la demande.


L'objectif de cet article est de montrer comment concevoir un pilote web capable de télécharger un fichier à partir d'un site web. Ayant développé une application permettant d'éditer un bulletin d'information contenant le programme des sorties organisées par un club de randonnée, les utilisateurs de cette application se plaignaient de devoir télécharger à plusieurs reprises, depuis le site internet du club, un fichier contenant les données saisies par les organisateurs des sorties. Le logiciel de saisie permet d'exporter ces données, mais la moindre correction du texte de la sortie par un organisateur nécessite de télécharger à nouveau les données pour modifier le bulletin, entraînant une nouvelle connexion au site avec identification et navigation dans divers menus, afin de générer une nouvelle version du bulletin.

Pour pallier cet inconvénient, l'application a été enrichie d'une classe PiloteWebProgramme chargée d'automatiser le téléchargement, comme...

Cet article est réservé aux abonnés. Il vous reste 96% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne


Article rédigé par

Par le(s) même(s) auteur(s)

Les tribulations d'un programmeur Linux dans la Sierra Apple

Magazine
Marque
GNU/Linux Magazine
Numéro
216
Mois de parution
juin 2018
Spécialité(s)
Résumé

Après développement d'applications domotiques basées sur des échanges de datagrammes pour divers hôtes (Raspberry Pi, ESP-12, smartphone Android) et divers langages (C++, Python, Java), on finit par être confronté au portage de ces applications dans l'univers Apple ; il est alors naturel de se tourner vers le langage Swift et sa librairie « Foundation » (le langage Swift créé par Apple et rendu public en 2014 est passé en open source en décembre 2015).L'utilisation du protocole UDP conduit à mettre en œuvre les « CFSocket » de la libraire « Foundation » avec leur fonction de rappel (callback) associée pour la réception des datagrammes. On est alors amené à manipuler des pointeurs (UnsafePointer et autres variantes du langage Swift) vers divers objets ce qui n'est pas évident a priori. Cet article est destiné à faire partager ce retour d'expérience.

Conception d'un système de télé-information EDF

Magazine
Marque
GNU/Linux Magazine
Numéro
197
Mois de parution
octobre 2016
Spécialité(s)
Résumé

La télé-information peut permettre, outre la surveillance de la consommation électrique, de piloter par exemple le système de chauffage (pompe à chaleur/chaudière fuel) en fonction des différentes périodes tarifaires EDF. Nous envisagerons de placer ce projet dans un cadre domotique général d'informatique répartie et d'insister sur la conception et la réalisation logicielle, notamment à l'aide de diagrammes de type UML.

Modélisation d'un système de téléinformation EDF

Magazine
Marque
GNU/Linux Magazine
Numéro
196
Mois de parution
septembre 2016
Spécialité(s)
Résumé

Le sujet a certes déjà été traité à plusieurs reprises dans la littérature informatique ; nous envisagerons ici de replacer ce projet dans un cadre domotique plus général d'informatique répartie et d'insister sur la conception et la réalisation logicielle, notamment à l'aide de diagrammes. En particulier la téléinformation peut permettre, outre la surveillance de la consommation électrique, de piloter par exemple le système de chauffage (pompe à chaleur / chaudière fuel) en fonction des différentes périodes tarifaires EDF.

Les derniers articles Premiums

Les derniers articles Premium

PostgreSQL au centre de votre SI avec PostgREST

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Dans un système d’information, il devient de plus en plus important d’avoir la possibilité d’échanger des données entre applications. Ce passage au stade de l’interopérabilité est généralement confié à des services web autorisant la mise en œuvre d’un couplage faible entre composants. C’est justement ce que permet de faire PostgREST pour les bases de données PostgreSQL.

La place de l’Intelligence Artificielle dans les entreprises

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

L’intelligence artificielle est en train de redéfinir le paysage professionnel. De l’automatisation des tâches répétitives à la cybersécurité, en passant par l’analyse des données, l’IA s’immisce dans tous les aspects de l’entreprise moderne. Toutefois, cette révolution technologique soulève des questions éthiques et sociétales, notamment sur l’avenir des emplois. Cet article se penche sur l’évolution de l’IA, ses applications variées, et les enjeux qu’elle engendre dans le monde du travail.

Petit guide d’outils open source pour le télétravail

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Ah le Covid ! Si en cette période de nombreux cas resurgissent, ce n’est rien comparé aux vagues que nous avons connues en 2020 et 2021. Ce fléau a contraint une large partie de la population à faire ce que tout le monde connaît sous le nom de télétravail. Nous avons dû changer nos habitudes et avons dû apprendre à utiliser de nombreux outils collaboratifs, de visioconférence, etc., dont tout le monde n’était pas habitué. Dans cet article, nous passons en revue quelques outils open source utiles pour le travail à la maison. En effet, pour les adeptes du costume en haut et du pyjama en bas, la communauté open source s’est démenée pour proposer des alternatives aux outils propriétaires et payants.

Sécurisez vos applications web : comment Symfony vous protège des menaces courantes

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Les frameworks tels que Symfony ont bouleversé le développement web en apportant une structure solide et des outils performants. Malgré ces qualités, nous pouvons découvrir d’innombrables vulnérabilités. Cet article met le doigt sur les failles de sécurité les plus fréquentes qui affectent même les environnements les plus robustes. De l’injection de requêtes à distance à l’exécution de scripts malveillants, découvrez comment ces failles peuvent mettre en péril vos applications et, surtout, comment vous en prémunir.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 65 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous