Python request 简单使用

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，能够节约咱们大量的工做，彻底知足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，因此它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！python

发送请求

使用 Requests 发送网络请求很是简单。nginx

一开始要导入 Requests 模块：git

import requests

而后，尝试获取某个网页。本例子中，咱们来获取 Github 的公共时间线：github

 r = requests.get('https://api.github.com')

如今，咱们有一个名为 r 的 Response 对象。咱们能够从这个对象中获取全部咱们想要的信息。json

Requests 简便的 API 意味着全部 HTTP 请求类型都是显而易见的。例如，你能够这样发送一个 HTTP POST 请求：api

>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})

漂亮，对吧？那么其余 HTTP 请求类型：PUT，DELETE，HEAD 以及 OPTIONS 又是如何的呢？都是同样的简单：跨域

 
    >>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get') 
   

都很不错吧，但这也仅是 Requests 的冰山一角服务器

传递 URL 参数

你也许常常想为 URL 的查询字符串(query string)传递某种数据。若是你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， httpbin.org/get?key=val。 Requests 容许你使用 params 关键字参数，以一个字符串字典来提供这些参数。举例来讲，若是你想传递 key1=value1 和 key2=value2 到 httpbin.org/get ，那么你可使用以下代码：cookie

 
    >>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)

经过打印输出该 URL，你能看到 URL 已被正确编码：网络

 
    >>> print(r.url)
http://httpbin.org/get?key2=value2&key1=value1

注意字典里值为 None 的键都不会被添加到 URL 的查询字符串里。

你还能够将一个列表做为值传入：

 
    >>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}

>>> r = requests.get('http://httpbin.org/get', params=payload)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

响应内容

咱们能读取服务器响应的内容。再次以 GitHub 时间线为例：

 
    >>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/... 
   

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。

请求发出后，Requests 会基于 HTTP 头部对响应的编码做出有根据的推测。当你访问 r.text 之时，Requests 会使用其推测的文本编码。你能够找出 Requests 使用了什么编码，而且可以使用r.encoding 属性来改变它：

 
    >>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1' 
   

若是你改变了编码，每当你访问 r.text ，Request 都将会使用 r.encoding 的新值。你可能但愿在使用特殊逻辑计算出文本的编码的状况下来修改编码。好比 HTTP 和 XML 自身能够指定编码。这样的话，你应该使用 r.content 来找到编码，而后设置 r.encoding 为相应的编码。这样就能使用正确的编码解析 r.text 了。

在你须要的状况下，Requests 也可使用定制的编码。若是你建立了本身的编码，并使用 codecs模块进行注册，你就能够轻松地使用这个解码器名称做为 r.encoding 的值，而后由 Requests 来为你处理编码。

二进制响应内容

你也能以字节的方式访问请求响应体，对于非文本请求：

 
    >>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...

Requests 会自动为你解码 gzip 和 deflate 传输编码的响应数据。

例如，以请求返回的二进制数据建立一张图片，你可使用以下代码：

 
    >>> from PIL import Image
>>> from io import BytesIO

>>> i = Image.open(BytesIO(r.content))

JSON 响应内容

Requests 中也有一个内置的 JSON 解码器，助你处理 JSON 数据：

 
    >>> import requests

>>> r = requests.get('https://api.github.com/events')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

若是 JSON 解码失败， r.json() 就会抛出一个异常。例如，响应内容是 401 (Unauthorized)，尝试访问 r.json() 将会抛出 ValueError: No JSON object could be decoded 异常。

须要注意的是，成功调用 r.json() 并**不**意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（好比 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的指望相同。

原始响应内容

在罕见的状况下，你可能想获取来自服务器的原始套接字响应，那么你能够访问 r.raw。若是你确实想这么干，那请你确保在初始请求中设置了 stream=True。具体你能够这么作：

 
    >>> r = requests.get('https://api.github.com/events', stream=True)
>>> r.raw
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03' 
   

但通常状况下，你应该如下面的模式将文本流保存到文件：

 
    with open(filename, 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

使用 Response.iter_content 将会处理大量你直接使用 Response.raw 不得不处理的。当流下载时，上面是优先推荐的获取内容方式。 Note that chunk_size can be freely adjusted to a number that may better fit your use cases.

定制请求头

若是你想为请求添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就能够了。

例如，在前一个示例中咱们没有指定 content-type:

 
    >>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}

>>> r = requests.get(url, headers=headers)

注意: 定制 header 的优先级低于某些特定的信息源，例如：

若是在 .netrc 中设置了用户认证信息，使用 headers= 设置的受权就不会生效。而若是设置了 auth= 参数，``.netrc`` 的设置就无效了。
若是被重定向到别的主机，受权 header 就会被删除。
代理受权 header 会被 URL 中提供的代理身份覆盖掉。
在咱们能判断内容长度的状况下，header 的 Content-Length 会被改写。

更进一步讲，Requests 不会基于定制 header 的具体状况改变本身的行为。只不过在最后的请求中，全部的 header 信息都会被传递进去。

注意: 全部的 header 值必须是 string、bytestring 或者 unicode。尽管传递 unicode header 也是容许的，但不建议这样作。

更加复杂的 POST 请求

一般，你想要发送一些编码为表单形式的数据——很是像一个 HTML 表单。要实现这个，只需简单地传递一个字典给 data 参数。你的数据字典在发出请求时会自动编码为表单形式：

 
    >>> payload = {'key1': 'value1', 'key2': 'value2'}

>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key2": "value2",
    "key1": "value1"
  },
  ...
} 
   

你还能够为 data 参数传入一个元组列表。在表单中多个元素使用同一 key 的时候，这种方式尤为有效：

>>> payload = (('key1', 'value1'), ('key1', 'value2'))
>>> r = requests.post('http://httpbin.org/post', data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}

不少时候你想要发送的数据并不是编码为表单形式的。若是你传递一个 string 而不是一个 dict，那么数据会被直接发布出去。

例如，Github API v3 接受编码为 JSON 的 POST/PATCH 数据：

 
    >>> import json

>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}

>>> r = requests.post(url, data=json.dumps(payload))

此处除了能够自行对 dict 进行编码，你还可使用 json 参数直接传递，而后它就会被自动编码。这是 2.4.2 版的新加功能：

 
    >>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}

>>> r = requests.post(url, json=payload)

POST一个多部分编码(Multipart-Encoded)的文件

Requests 使得上传多部分编码文件变得很简单：

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

你能够显式地设置文件名，文件类型和请求头：

 
    >>> url = 'http://httpbin.org/post'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
} 
   

若是你想，你也能够发送做为文件来接收的字符串：

>>> url = 'http://httpbin.org/post'
>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "some,data,to,send\\nanother,row,to,send\\n"
  },
  ...
}

若是你发送一个很是大的文件做为 multipart/form-data 请求，你可能但愿将请求作成数据流。默认下 requests 不支持, 但有个第三方包 requests-toolbelt 是支持的

响应状态码

咱们能够检测响应状态码：

 
    >>> r = requests.get('http://httpbin.org/get')
>>> r.status_code
200 
   

为方便引用，Requests还附带了一个内置的状态码查询对象：

 
    >>> r.status_code == requests.codes.ok
True

若是发送了一个错误请求(一个 4XX 客户端错误，或者 5XX 服务器错误响应)，咱们能够经过Response.raise_for_status() 来抛出异常：

>>> bad_r = requests.get('http://httpbin.org/status/404')
>>> bad_r.status_code
404

>>> bad_r.raise_for_status()
Traceback (most recent call last):
  File "requests/models.py", line 832, in raise_for_status
    raise http_error
requests.exceptions.HTTPError: 404 Client Error

可是，因为咱们的例子中 r 的 status_code 是 200 ，当咱们调用 raise_for_status() 时，获得的是：

>>> r.raise_for_status()
None

一切都挺和谐哈。

响应头

咱们能够查看以一个 Python 字典形式展现的服务器响应头：

>>> r.headers
{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '148ms',
    'etag': '"e1ca502697e5c9317743dc078f67693f"',
    'content-type': 'application/json'
}

可是这个字典比较特殊：它是仅为 HTTP 头部而生的。根据 RFC 2616， HTTP 头部是大小写不敏感的。

所以，咱们可使用任意大写形式来访问这些响应头字段：

 
    >>> r.headers['Content-Type']
'application/json'

>>> r.headers.get('content-type')
'application/json'

Cookie

若是某个响应中包含一些 cookie，你能够快速访问它们：

>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)

>>> r.cookies['example_cookie_name']
'example_cookie_value'

要想发送你的cookies到服务器，可使用 cookies 参数：

>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

Cookie 的返回对象为 RequestsCookieJar，它的行为和字典相似，但接口更为完整，适合跨域名跨路径使用。你还能够把 Cookie Jar 传到 Requests 中：

 
    >>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'http://httpbin.org/cookies'
>>> r = requests.get(url, cookies=jar)
>>> r.text
'{"cookies": {"tasty_cookie": "yum"}}' 
   