利用scrapy爬取需要登录的网站的数据（包含验证码的处理）

利用scrapy爬取需要登录的网站的数据（包含验证码的处理）–以爬取豆瓣网数据为例 1、在cmd命令行中输入 scrapy startproject douban，创建scrapy爬虫项目  2、在cmd命令行中调整到douban项目文件夹下输入 scrapy genspider -t basic db douban.com（最后一个是网站域名）创建名为db的爬虫（如果是创建自动爬虫要输入-t c

>>阅读原文<<