初步实现框架

1.爬虫的流程(掌握) 爬虫框架解决的问题是爬虫问题，先来看看爬虫的基本流程： 构建请求信息(url、method、headers、params、data) 发起HTTP/HTTPS请求，获取HTTP/HTTPS响应 解析响应，分析响应数据的数据结构或者页面结构 提取数据 提取请求的地址 对数据进行存储/对新的请求地址重复前面的步骤 流程图: 2.分析scrapy爬虫流程(掌握) 精准流程图: 三

>>阅读原文<<