La solution
Nous aurons besoin de Scrapy :
$ sudo pip3 install scrapy
Nous commençons ensuite par créer un projet last_titles :
$ scrapy startproject last_titles
New Scrapy project 'last_tiles', using template directory '/usr/local/lib/python3.4/dist-packages/scrapy/templates/project', created in:
/home/tristan/.../src/last_titles
You can start your first spider with:
cd last_titles
scrapy genspider example example.com
Nous pouvons alors créer notre spider dans last_titles/last_titles/spiders/last_titles_spider.py :
01: import scrapy
02:
03: class LastTitlesSpider(scrapy.Spider):
04: name = 'last_titles'
05:
06: def __init__(self, site, *args, **kwargs):
07: super().__init__(*args, **kwargs)
08: self.start_urls = [site]
09: self.DOMAIN = site.split('//')[1]
10:
11: def parse(self, response):
12: ...
- Accédez à tous les contenus de Connect en illimité
- Découvrez des listes de lecture et des contenus Premium
- Consultez les nouveaux articles en avant-première