python爬虫实战--------搜狗微信文章（IP代理池和用户代理池设定----scrapy）

python爬虫实战（三）--------搜狗微信文章（IP代理池和用户代理池设定----scrapy） 阅读目录 笔记 实战操作 正文 在学习scrapy爬虫框架中，肯定会涉及到IP代理池和User-Agent池的设定，规避网站的反爬。 这两天在看一个关于搜狗微信文章爬取的视频，里面有讲到ip代理池和用户代理池，在此结合自身的所了解的知识，做一下总结笔记，方便以后借鉴。 回到顶部 笔记 一.反爬

>>阅读原文<<