代理服务

  在爬取网页的过程当中,常常会出现不久前能够爬取的网页如今没法爬取了,这是由于您的IP被爬取网站的服务器所屏蔽了。此时代理服务能够为您解决这一麻烦,设置代理时,首先须要找到代理地址,例如“122.114.31.177”,对应的端口号为“808”,完整的格式为“122.114.31.177:808”,以下:服务器

import requests

#设置代理IP与对应的端口号
proxy={'http':'122.114.31.177:808','https':'122.114.31.177:808'}

#
response=requests.get('http://www.mingrisoft.com/',proxies=proxy)
print(response.content)

  因为实例中代理IP是免费的,因此使用的时间不固定,超出使用的时间范围该地址将失效网站

相关文章
相关标签/搜索