爬虫（隐藏）

1. 修改header目的是爬取网络的时候不被服务器屏蔽。一些网站痛恨程序访问网络，会主动把程序掐掉，为了使代码持续干活，就要隐藏，看起来更像是普通人通过浏览器的正常点击。服务器检查链接user-Agent 的header的类型。 可以通过修改程序的headers，两种方法： 当批量抓取时，频繁操作，给服务器带来巨大压力，服务器会拒绝访问。为了应对，有两种策略： 1. 设置延时，让服务器看起来我们

>>阅读原文<<