python爬虫之如何随机更换User-Agent

python爬虫爬取网站内容时，若是什么也没带，即不带报头headers，每每会被网站管理维护人员认定为机器爬虫。由于，此时python默认的user-agent如Python-urllib/2.1同样。所以，网站管理人员会根据请求的user-agent断定你是否是机器爬虫。因此，此时每每就须要假装user-agent，模拟成真实的浏览器去取出内容。下面是一些比较经常使用的浏览器的user-age

>>阅读原文<<