scrapy框架scrapy.Reqest和response.follow的区别

使用scrapy框架的朋友应该对于scrapy.Request比较熟悉,当我们在回调方法中产生一个Request时,Scrapy会安排发送安排该请求并回调一个方法,一边在该请求完成时执行。 使用此功能,可以根据定义的规则构建跟踪链接的复杂爬虫网站程序,并根据其访问的页面提取不同类型的数据。 而response.follow方法,从基类中观察,init方法初始化的数据基本相同。 与scrapy.Re
相关文章
相关标签/搜索