爬虫-requests模块的使用

相比于urllib模块，requests模块使用起来更简洁方便。requests支持HTTP链接保持和链接池，支持使用cookie保持会话，支持文件上传，支持自动肯定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。requests的底层实现其实就是urllib3。

1、安装

sudo pip3 install requests

2、基本GET请求（headers参数和params参数）

• 最基本的GET请求能够直接使用get方法

  import requests
  
  response = requests.get("https://www.baidu.com/")
  
  # 也能够写成
  # response = requests.request("get", "https://www.baidu.com/")

• .添加headers和查询参数

　　若是想添加headers，能够传入headers参数来增长请求头中的headers信息。若是要将参数放在url中传递，能够利用 params 参数。

• import requests
  
  kw = {'wd':'长城'}
  
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
  
  # params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不须要urlencode()
  response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
  
  # 查看响应内容，response.text 返回的是Unicode格式的数据
  print(response.text)
  
  # 查看响应内容，response.content返回的字节流数据
  print(respones.content)
  
  # 查看完整url地址
  print(response.url)
  
  # 查看响应头部字符编码
  print(response.encoding)
  
  # 查看响应码
  print(response.status_code)

  使用response.text 时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。使用response.content 时，返回的是服务器响应数据的原始二进制字节流，能够用来保存图片等二进制文件。

3、基本POST请求（data参数）

• 最基本的POST请求，能够直接使用post方法

  import requests
  
  resp = requests.post('https://www.baidu.com/'，data = data)

• 传入data数据，示范一个有道翻译的例子

  import requests
  
  formdata = {
      'i':'I love you',
      "from":'AUTO',
      "to":'AUTO',
      "smartresult":"dict",
      "client":"fanyideskweb",
      "doctype":"json",
      "version":"2.1",
      "keyfrom":"fanyi.web",
      "action":"FY_BY_REALTlME"
  
  }
  
  url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
  
  headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
  
  response = requests.post(url, data = formdata, headers = headers)
  print(response.text)
  
  # 若是是json文件能够直接显示,返回的是dict类型
  print(response.json())

• 发送json类型的数据

1. 利用data参数传递，可是数据须要序列化成Json字符串，同时传入headrs中必须指明‘Content-Type':’application/json‘

   import requests
   import json
   url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
   headers = {
       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   }
   # 将json类型的数据转换成字典类型的数据
   data = {
   "portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20
   }
   
   # 调用json.dumps()方法，将数据以json格式传递
   resp = requests.post(url=url, headers=headers, data=json.dumps(data)
   
   print(resp.text)

2. 利用json参数传递dict类型数据，不须要提早转换成json字符串

   import requests
   
   url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
   headers = {
       'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   }
   json = {"portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20}
   
   # 直接给post方法中的json参数赋值，赋dict类型的数据
   response = requests.post(url=url, headers=headers, json=json)
   print(response.text)

4、代理（proxies）

若是须要使用代理，你能够为任意请求方法提供 proxies 参数来配置单个请求：

import requests

# 根据协议类型，选择不一样的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "http://12.34.56.79:9527",
}

resp = requests.get("https://www.baidu.com", proxies = proxies)
print(resp.text)

• 私密代理验证（特定格式）

  import requests
  
  # 若是代理须要使用HTTP Basic Auth，能够使用下面这种格式：
  proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }
  
  resp = requests.get("http://www.baidu.com", proxies = proxy)
  print(resp.text)

• Web客户端验证（auth参数）

  mport requests
  
  #添加 auth = (帐户名, 密码)
  auth=('test', '123456')
  
  resp = requests.get('http://192.168.199.107', auth = auth)
  print(resp.text)

5、Cookies和Session

• Cookies：

  • 若是一个响应中包含了cookie，那么咱们能够利用 cookies参数拿到

    import requests
    
    response = requests.get("http://www.baidu.com/")
    
    #  返回CookieJar对象:
    cookiejar = response.cookies
    
    # 将CookieJar转为字典：
    cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
    
    print(cookiejar)
    
    print(cookiedict)

• Session

  • 在 requests 里，session对象是一个很是经常使用的对象，这个对象表明一次用户会话：从客户端浏览器链接服务器开始，到客户端浏览器与服务器断开。
  • 会话能让咱们在跨请求时候保持某些参数，好比在同一个 Session 实例发出的全部请求之间保持 cookie 。

    import requests
    
    # 1. 建立session对象，能够保存Cookie值
    ssion = requests.session()
    
    # 2. 处理 headers
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
    
    # 3. 须要登陆的用户名和密码
    data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}  
    
    # 4. 发送附带用户名和密码的请求，并获取登陆后的Cookie值，保存在ssion里
    ssion.post("http://www.renren.com/PLogin.do", data = data)
    
    # 5. ssion包含用户登陆后的Cookie值，能够直接访问那些登陆后才能够访问的页面
    resp = ssion.get("http://www.renren.com/410043129/profile")
    
    # 6. 打印响应内容
    print(resp.text)

6、HTTPS请求SSL证书验证（verify参数）

• 要想检查某个主机的SSL证书，你能够使用 verify 参数（也能够不写），默认verify = True表示开启验证

  import requests
  
  resp = requests.get("https://www.baidu.com/", verify=True)
  
  # 也能够省略不写
  # resp = requests.get("https://www.baidu.com/")
  print(resp.text)

• 关闭验证，只须要将verify参数设为False

  import requests
  
  resp = requests.get("https://www.12306.cn/mormhweb/", verify = False)
  print(resp.text)