【python爬虫】关于403问题的反爬处理

今天在学习 小甲鱼 的python爬虫，遇到下面问题python

首先，贴上今天找到的一个技巧浏览器

在python报错以后，定位c：以前的那个语句基本上就是出错的地方。服务器

1.urllib.error.HTTPError: HTTP Error 403: Forbiddenpython爬虫

这个问题是因为网站的反爬机制，若是用 urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,可是服务器并不知道发送这个请求使用的浏览器,操做系统,硬件平台等信息,而缺失这些信息的请求每每都是非正常的访问,例如爬虫.
有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户我的偏好),若是UserAgent存在异常或者是不存在,那么此次请求将会被拒绝(如上错误信息所示)
因此能够尝试在请求中加入UserAgent的信息学习

下面给出两种方法：网站

a: url

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
    req = urllib.request.Request(url=url,headers=headers)#这里要注意，必须使用url=url，headers=headers的格式，不然回报错，没法链接字符
    
response = urllib.request.urlopen(req)#注意，这里要用req，否则就被添加useragent

req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, li......

response = urllib.request.urlopen(req)#注意，这里要用req，否则就被添加useragent