（一）实现爬虫的简单思路

文章目录 (一)写爬虫的一些套路 1. 准备url 1.1 准备start_url （1） url地址规律不明显，或总数不确定时 （2）通过代码提取下一页的url 1）xpath（重点） 2）寻找url地址，部分参数在当前的响应中，比如，当前页码和总的页码数在当前的响应中 1.2 准备 url_list （1） 页码总数明确 （2）url地址规律明显 2. 发送请求，获取响应 2.1 添加随机的U

>>阅读原文<<