scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))

1:基本

Middlewares.py(downloader)

spider/xxx.py

settings.py

---

2:优化

为了避免让chrome每次启动,添加它到Middleware定义类的初始方法中启动

Middlewares.py(downloader)

---

3:优化(浏览器的自动开启与关闭)

在spider/xxx.py中

Middlewares.py(downloader)

加入信号链dispatcher,signals
spider/xxx.py

爬虫结束会输出