怎样伪装自己的爬虫？

爬取网页被拒？看这里，要学会包装自己家的爬虫 1.方法一：进行ip代理中间件的编写 这种方法呢，需要首先购买一个代理IP，可以去阿布云进行购买，这里并不推荐 2.方法二：进行user_agent中间件的编写（能白漂，难道它不香吗） （1）打开middlewares.py编写如下 （2）这里强调一下USER_AGENT_LIST列表可以到百度上搜一个，这里我们用的是一个360的USER_AGENT

>>阅读原文<<