在工做中进行爬虫时,常常会须要提供User-Agent,若是不提供User-Agent,会致使爬虫在请求网页时,请求失败,因此须要大量User-Agent。如何生成合法的User-Agent?sql
使用fake-useragent库就能够解决该问题。chrome
安装:浏览器
pip install fake-useragent
使用:dom
该模块使用很是简单。ide