scrapy京东翻页爬取

获取下一页的连接 若是下一页有值,就发送下一页的请求,没有就什么都不作 # 只爬取 前5页 self.page += 1 if self.page > 4: return # 列表翻页 # 1. 取出 下一页 标签 的 URL 网址不齐全 next_url = response
相关文章
相关标签/搜索