【python】自动生成必定数量的随机请求头header，对爬虫进行假装

背景： 经过User-Agent构建请求头headers可以将爬虫假装，可是有的网站会去检查请求头，进而封掉ip地址。因此在每次提交网站请求的时候，使用随机请求头迷惑对方能更好的保护咱们的爬虫。python 如我以前的例子，用了一个比较笨的方法：搜集各类User-Agent构建请求头，写一个随机函数，每次挑选一个User-Agent。然而人生苦短，聪明的程序员早已专门设计了一个库来生成header

>>阅读原文<<