Web crawler / pilote web Selenium : comment automatiser des tâches répétitives d'accès à un site web

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
105
|
Mois de parution
novembre 2019
|
Domaines


Résumé

Une tâche répétitive, qui peut s'avérer fastidieuse, se rencontre par exemple lorsqu'on doit exploiter le contenu d'un fichier fréquemment mis à jour et téléchargeable via un site web, nécessitant une navigation au travers de menus successifs ou bien lorsque l'on désire tester le comportement d'un site web. Un pilote web permet de contrôler un navigateur internet afin d'automatiser ces tâches ; les outils Selenium [1] fournissent une réponse à ce problème, au moyen d'une librairie disponible pour de nombreux langages (dont Java, Python, etc.) ou d'un IDE, permettant d'enregistrer une séquence d'actions exécutée dans le navigateur et de la rejouer, à la demande.


La suite est réservée aux abonnés. Déjà abonné ? Se connecter

Sur le même sujet

Faites du multithreading avec OpenMP

Magazine
Marque
GNU/Linux Magazine
Numéro
237
|
Mois de parution
mai 2020
|
Domaines
Résumé

Vous vous êtes souvent demandé s’il était possible de paralléliser certaines tâches de votre application afin de la rendre plus optimale en termes de temps ? Grâce à OpenMP, vous pourrez optimiser la vitesse d’exécution de vos programmes en parallélisant les tâches facilement.

Erlang, programmation distribuée et modèle acteur

Magazine
Marque
GNU/Linux Magazine
Numéro
237
|
Mois de parution
mai 2020
|
Domaines
Résumé

Quel est le point commun entre RabbitMQ, ejabberd, CouchDB, WhatsApp et Heroku ? Ces outils et services ont la particularité d’utiliser le même langage de programmation : Erlang. Ce dernier, encore trop peu connu du grand public, a pourtant réussi à maintes reprises à faire parler de lui. Il offre une approche nouvelle dans le monde du développement, où le paradigme orienté objet domine largement le marché, en offrant une implémentation très haut niveau du modèle acteur, facilitant ainsi la mise en place ainsi que l’utilisation de systèmes complexes et distribués.

Programmation réactive avec Quarkus

Magazine
Marque
GNU/Linux Magazine
Numéro
237
|
Mois de parution
mai 2020
|
Domaines
Résumé

L’innovant projet Quarkus a déjà été évoqué dans plusieurs précédents articles depuis sa sortie en mai 2019. Ces publications ont détaillé à quel point il est un excellent cadre d’exécution, très performant et très adapté à la réalisation de microservices HTTP. Néanmoins, ces différents articles n’ont pas, pour le moment, abordé le thème de la programmation « réactive ». Or, comme nous allons le voir aujourd’hui, la programmation « réactive » est en fait au cœur de Quarkus !

Par le même auteur

Web crawler / pilote web Selenium : comment automatiser des tâches répétitives d'accès à un site web

Magazine
Marque
GNU/Linux Magazine
HS n°
Numéro
105
|
Mois de parution
novembre 2019
|
Domaines
Résumé

Une tâche répétitive, qui peut s'avérer fastidieuse, se rencontre par exemple lorsqu'on doit exploiter le contenu d'un fichier fréquemment mis à jour et téléchargeable via un site web, nécessitant une navigation au travers de menus successifs ou bien lorsque l'on désire tester le comportement d'un site web. Un pilote web permet de contrôler un navigateur internet afin d'automatiser ces tâches ; les outils Selenium [1] fournissent une réponse à ce problème, au moyen d'une librairie disponible pour de nombreux langages (dont Java, Python, etc.) ou d'un IDE, permettant d'enregistrer une séquence d'actions exécutée dans le navigateur et de la rejouer, à la demande.

Les tribulations d'un programmeur Linux dans la Sierra Apple

Magazine
Marque
GNU/Linux Magazine
Numéro
216
|
Mois de parution
juin 2018
|
Résumé
Après développement d'applications domotiques basées sur des échanges de datagrammes pour divers hôtes (Raspberry Pi, ESP-12, smartphone Android) et divers langages (C++, Python, Java), on finit par être confronté au portage de ces applications dans l'univers Apple ; il est alors naturel de se tourner vers le langage Swift et sa librairie « Foundation » (le langage Swift créé par Apple et rendu public en 2014 est passé en open source en décembre 2015).L'utilisation du protocole UDP conduit à mettre en œuvre les « CFSocket » de la libraire « Foundation » avec leur fonction de rappel (callback) associée pour la réception des datagrammes. On est alors amené à manipuler des pointeurs (UnsafePointer et autres variantes du langage Swift) vers divers objets ce qui n'est pas évident a priori. Cet article est destiné à faire partager ce retour d'expérience.

Conception d'un système de télé?information EDF

Magazine
Marque
GNU/Linux Magazine
Numéro
197
|
Mois de parution
octobre 2016
|
Domaines
Résumé

La télé-information peut permettre, outre la surveillance de la consommation électrique, de piloter par exemple le système de chauffage (pompe à chaleur/chaudière fuel) en fonction des différentes périodes tarifaires EDF. Nous envisagerons de placer ce projet dans un cadre domotique général d'informatique répartie et d'insister sur la conception et la réalisation logicielle, notamment à l'aide de diagrammes de type UML.

Modélisation d'un système de téléinformation EDF

Magazine
Marque
GNU/Linux Magazine
Numéro
196
|
Mois de parution
septembre 2016
|
Domaines
Résumé
Le sujet a certes déjà été traité à plusieurs reprises dans la littérature informatique ; nous envisagerons ici de replacer ce projet dans un cadre domotique plus général d'informatique répartie et d'insister sur la conception et la réalisation logicielle, notamment à l'aide de diagrammes. En particulier la téléinformation peut permettre, outre la surveillance de la consommation électrique, de piloter par exemple le système de chauffage (pompe à chaleur / chaudière fuel) en fonction des différentes périodes tarifaires EDF.

Concevoir un service DynDNS pour Livebox depuis votre Raspberry Pi

Magazine
Marque
Linux Pratique
Numéro
90
|
Mois de parution
juillet 2015
|
Domaines
Résumé
Certains opérateurs Internet permettent aux particuliers de disposer d'une adresse IP fixe. Il est alors possible de se connecter sur son réseau local à partir d'un point d'accès quelconque (ordinateur, smartphone...). Ce n'est pas le cas d'Orange dont les Livebox peuvent voir leur adresse IP changer de manière aléatoire. Nous allons voir comment réaliser un service de type DNS dynamique « maison » permettant de résoudre ce problème.