scrapy爬虫教程(二)--第一个爬虫

上篇文章大致了解scrapy的流程,生成了lagou.py爬虫文件,接着看看爬虫文件的内容: 通过上图看出爬虫是继承自scrapy.Spider,在进入到Spider中找到入口函数start_requests 爬虫就是通过这里作为入口创建request对象,通过引擎发送给调度器,下载器获取到request进行下载,生成response发送给爬虫的parse函数进行解析 父类scrapy.Spide
相关文章
相关标签/搜索