沃保网爬虫(九)--requests爬虫升级为scrapy爬虫

1、requests爬虫升级为scrapy爬虫: 2、start_requests:构造requests对象,包含请求url、请求方式、请求参数 3、判断页码,构造下一页请求参数,主要是构造页面,请求下一页数据 4、请求详情页资格证号,并返回 5、返回资格证号,并yield返回 6、数据的处理,pipline,item_key是redis中的集合名词 7、加密字段在redis集合中的保存形式 显示
相关文章
相关标签/搜索