关于Python爬虫时UA假装的实现。

目录

• • 1.UA假装
  • • 1.1User-Agent
    • 1.2反爬机制
    • 1.3反反爬机制
  • 2.如何实现UA假装？
  • • 2.1代码的实现

1.UA假装

UA假装通俗来说就是请求载体身份标识的假装。

1.1User-Agent

请求载体身份标识，经过浏览器发起的请求，请求载体为浏览器，则该请求的User-Agent为浏览器的身份标识，若是使用爬虫程序发起的请求，则该请求的载体为爬虫程序，则该请求的User-Agent为爬虫程序的身份标识。服务器能够经过该值来判断发起请求的是浏览器仍是爬虫程序。

1.2反爬机制

某些门户网站会对访问该网站的请求中的User-Agent进行捕获和判断，若是该请求的UA为爬虫程序，那么就拒绝该提供请求数据。

1.3反反爬机制

将爬虫的UA假装成某一款浏览器的身份标识。

headers={ 
 
   
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
}

2.如何实现UA假装？

首先打开你要爬取的浏览器，好比咱们要爬取肯德基的官方网站的数据。

接着，

2.1代码的实现

headers = { 
 
   
      'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }

本文同步分享在 博客“Kinght_123”（CSDN）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。