urllib和urllib2的User-agent区别

时间 2019-12-23

标签 urllib urllib2 user agent 区别繁體版

原文原文链接

设置爬虫的User-agent
urllib默认是Python-urllib/2.7，并且不能修改

html

>>> import urllib
>>> url = "http://127.0.0.1"
>>> request = urllib2.Request(url)
>>> print request.get_header('User-agent')
Python-urllib/2.7
>>> request.add_head
>>> request.add_headers = ('User-agent','Mozilla/5.0')
>>> print request.get_header('User-agent')
Python-urllib/2.7

urllib默认是空值，能够修改
python

>>> import urllib2
>>> url = "http://127.0.0.1"
>>> request = urllib2.Request(url)
>>> print request.get_header('User-agent')
None
>>> request.add_header('User-agent','Mozilla/5.0')
>>> print request.get_header('User-agent')
Mozilla/5.0

参考：http://www.cnblogs.com/semmin/archive/2012/05/29/2523983.html

url