网络爬虫防止被封的策略和反反爬策略简单总结

今天不想工做，比较累，遇到一个网站反爬比较严重，不说具体哪一个名字了，简单总结下爬虫防封策略 html 1，假装http 头chrome      chrome 开发者模式，firebug等抓包工具，查看http 进行模拟User-Agent，有的须要加上Referer，能够多加入几个http user浏览器 2，代理ip，对于限制ip 或者ip被封的采用代理ip安全    代理ip 能够抓取，本

>>阅读原文<<