python爬虫之如何随机更换User-Agent

这是python里面的一个useragent池，很是好用！具体怎么用呢？

首先，安装fake-useragent

    pip install fake-useragent

而后，使用方法

 

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意，有些网站可能会根据user-agent来封IP，也就是说他们会根据同一个IP下，若是是不少个不一样user-agent在访问，那么，此时，他们就会断定为爬虫。

对应策略的话能够架构一个ip代理池配合UA使用。