爬虫教程2---Python爬虫加代理“伪装”

上面一篇说到爬虫必须加上“隐身衣”（变换user-agent，proxyIP），“风火轮”（多线程加速）以及“复活药水”（被封后自动重启续爬）。 根据博主的经验，不伪装IP地址和useragent，开多线程完全是开玩笑，所以博主按照先加“隐身衣”，再加“复活药水”，最后加“风火轮”的步骤构建爬虫。 本篇介绍如何加“隐身衣”。 依然使用www.baidu.com。 想要爬取一个网站，首先要了解网站服

>>阅读原文<<