Python爬虫构建随机请求头headers

简介： 经过User-Agent构建请求头headers可以将爬虫假装，可是有的网站会有反爬技术。会去检查请求头，进而封掉ip地址。因此一个稍微不错的方法就是使用不用的User-Agent构建请求头，在每次提交网站请求的时候，使用随机请求头迷惑对方。 构造随机请求头： 一种比较笨的方法就是去搜集各类User-Agent构建请求头，写一个随机函数，每次挑选一个User-Agent。既然这么繁琐的工做

>>阅读原文<<