Requests的基本用法

时间 2019-11-30

标签 requests 基本用法繁體版

原文原文链接

介绍

首先让咱们来看 Requests 官方的介绍：html

Requests is an elegant and simple HTTP library for Python, built for human beings.
复制代码

翻译过来就是：Requests 是为人类写的一个优雅而简单的 Python HTTP 库。这个介绍很直白了，让咱们先来感觉一下 Requests 的威力。python

import requests

# 发送请求
response = requests.get(url="http://www.baidu.com/s", params={'wd':'python'})
# 处理响应
print(response.status_code)

#返回
200
复制代码

这个请求若是用 urllib 来实现，代码以下：nginx

import urllib.parse
import urllib.request

url = "http://www.baidu.com/s"
params = urllib.parse.urlencode({'wd':'python'})
# 发送请求
response = urllib.request.urlopen('?'.join([url, params]))
# 处理响应
print(response.getcode())

#返回
200
复制代码

从感官上就能看出来，使用 urllib 在 URL 、参数等方面会复杂一些。这只是冰山一角，实际使用中 Requests 还有好多方面超越 urllib ，它并非浪得虚名，接下来的学习中你就会感觉到。git

安装

使用pip命令github

$ pip3 install requests
复制代码

或者也可使用 easy_install 命令安装json

$ easy_install requests
复制代码

发送请求

使用 Requests 发送网络请求很是简单。api

咱们首先须要导入 Requests 模块：跨域

import requests
复制代码

而后，咱们就能够尝试获取某个网页。本例子中，咱们来获取 Github 的公共时间线：浏览器

r = requests.get('https://api.github.com/events')
复制代码

如今，咱们有一个名为 r 的 Response 对象。咱们能够从这个对象中获取全部咱们想要的信息。bash

Requests 简便的 API 意味着全部 HTTP 请求类型都是显而易见的。例如，你能够这样发送一个 HTTP POST 请求：

r = requests.post('http://httpbin.org/post', data = {'key':'value'})
复制代码

简单，对吧？那么其余 HTTP 请求类型：PUT，DELETE，HEAD 以及 OPTIONS 又是如何的呢？都是同样的简单：

r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')
复制代码

传递参数

咱们在发送请求时，常常须要向服务端发送请求参数，一般参数都是以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， httpbin.org/get?key=val。 Requests 容许你使用 params 关键字参数，以一个字符串字典来提供这些参数。举例来讲，若是你想传递 key1=value1 和 key2=value2 到 httpbin.org/get ，那么你可使用以下代码：

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)

#返回
http://httpbin.org/get?key1=value1&key2=value2
复制代码

经过打印输出该 URL，你能看到 URL 已被正确编码。

注意字典里值为 None 的键都不会被添加到 URL 的查询字符串里。

你还能够将一个列表做为值传入：

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload)

#返回
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
复制代码

响应内容

咱们能够经过返回读取服务器响应的内容，以请求百度首页为例：

import requests
r = requests.get('http://www.baidu.com')
print(r.text)

#返回（太多，只显示一部分）
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-eq...

复制代码

Requests 会自动解码来自服务器的内容，大多数 unicode 字符集都能被无缝地解码。

请求发出后，Requests 会基于 HTTP 头部对响应的编码做出有根据的推测。当你访问 r.text 之时，Requests 会使用其推测的文本编码。你能够经过 r.encoding 来获取 Requests 使用的编码：

r.encoding

#返回
'utf-8'
复制代码

而且可以使用 r.encoding 属性来改变它：

r.encoding = 'ISO-8859-1'
复制代码

若是你改变了编码，每当你访问 r.text ，Request 都将会使用 r.encoding 的新值。

二进制响应内容

对于非文本请求（例如图片），你也能以字节的方式访问请求响应体，Requests 会自动为你解码 gzip 和 deflate 传输编码的响应数据。

例如，以请求返回的二进制数据建立一张图片，你可使用以下代码：

import requests
from PIL import Image
from io import BytesIO

r = requests.get('http://img.sccnn.com/bimg/326/203.jpg')
print(r.content)
bi = BytesIO(r.content)
print(bi)
i = Image.open(bi)
print(i)

#返回
b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\... <_io.BytesIO object at 0x1112fdbf8> <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=600x400 at 0x111020588> 复制代码

JSON 响应内容

Requests 中有一个内置的 JSON 解码器，能够帮助你处理 JSON 数据：

r = requests.get('https://api.github.com/events')
print(r.json())

#返回
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/... 复制代码

若是 JSON 解码失败， r.json() 就会抛出一个异常。

r = requests.get('https://www.baidu.com')
print(r.json())

#返回
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
复制代码

须要注意的是，成功调用 r.json() 并不意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（好比 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的指望相同。

原始响应内容

在极少数状况下，你可能想获取来自服务器的原始套接字响应，那么你能够访问 r.raw。这个时候请确保在初始请求中设置了 stream=True。具体你能够这么作：

r = requests.get('https://api.github.com/events', stream=True)
print(r.raw)
print(r.raw.read(10))

#返回
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
复制代码

设置请求头

若是你在爬取某个页面内容的时候，发现获取的数据为空，可是直接用浏览器访问 URL 没问题，这时候颇有多是你被服务器识别为爬虫用户了，怎么办呢？咱们应该要模拟浏览器去请求，这时候你须要为请求添加 HTTP 头部信息，只要简单地传递一个 dict 给 headers 参数就能够了。

例如，咱们设置一下 User-Agent ：

url = 'http://www.baidu.com'
headers = {'User-Agent': 'myagent/2.21.0'}
r = requests.get(url, headers=headers)
print(r.request.headers)

#返回
{'User-Agent': 'myagent/2.21.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
复制代码

能够看到，请求的 User-Agent 已经变成了设置的 myagent/2.21.0。

复杂的 POST 请求

咱们在使用 POST 请求的时候，打印一下 r.text 会发现每次都会出现几个关键字：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {}, 
  "headers": {}, 
  "json": null, 
  "origin": "221.232.172.222, 221.232.172.222", 
  "url": "https://httpbin.org/post"
}
复制代码

这些关键字均可以在 POST 的参数里面设置。其中 headers 和 args 咱们前面已经讲过，分别表示请求头和参数信息。origin 是指请求的路由 ip，url 是咱们请求的 url，其余几个咱们都是能够设置的。下面咱们就来看看其余几个关键字怎么设置。

设置data参数

若是你在 POST 请求时想提交表单，也只须要简单的传递一个字典给 data 参数便可。你的数据字典在发出请求时会自动编码为表单形式：

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)

#返回
{
  ...
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  ...
}
复制代码

你也能够为 data 参数传入一个元组列表。Requests 会自动将其转换成一个列表：

payload = (('key1', 'value1'), ('key1', 'value2'))
r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)

#返回
{
  ...
  "form": {
    "key1": [
      "value1", 
      "value2"
    ]
  }, 
  ...
}
复制代码

设置 json 参数

Requests 容许你使用 json 直接传递参数，而后它就会被自动编码。

payload = {'some': 'data'}
r = requests.post("http://httpbin.org/post", json=payload)
print(r.text)

#返回
{
  "args": {}, 
  "data": "{\"some\": \"data\"}", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "16", 
    "Content-Type": "application/json", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.21.0"
  }, 
  "json": {
    "some": "data"
  }, 
  "origin": "221.232.172.222, 221.232.172.222", 
  "url": "https://httpbin.org/post"
}
复制代码

注意，这里不只赋值给 json 了，并且还自动赋值给 data 了，json 里面的键值对也被自动编码到 data 中了。

设置文件参数

Requests 上传文件很简单：

files = {'file': open('test.txt', 'rb')}
r = requests.post('http://httpbin.org/post', files=files)
print(r.text)

#返回
{
  ...
  "files": {
    "file": "this is a file test"
  }, 
  ...
}
复制代码

你也能够增长一个参数，把字符串发送到上传的文件中，例如：

files = {'file': ('test.txt', 'some,data,to,send\nanother,row,to,send\n')}
r = requests.post('http://httpbin.org/post', files=files)
print(r.text)

#返回
{
  ...
  "files": {
    "file": "some,data,to,send\nanother,row,to,send\n"
  }, 
  ...
}
复制代码

响应状态码和响应头

咱们能够从服务器响应的结果中获取状态码和响应头的信息，例如：

r = requests.get('http://httpbin.org/get')
print(r.status_code)

#返回
200
复制代码

为方便引用，Requests还附带了一个内置的状态码查询对象：

print(r.status_code == requests.codes.ok)

#返回
True
复制代码

咱们还能够查看响应的响应头信息：

r = requests.get('http://httpbin.org/get')
print(r.headers)

#返回
{'Access-Control-Allow-Credentials': 'true', 'Access-Control-Allow-Origin': '*', 'Content-Encoding': 'gzip', 'Content-Type': 'application/json', 'Date': 'Wed, 18 Sep 2019 12:22:06 GMT', 'Referrer-Policy': 'no-referrer-when-downgrade', 'Server': 'nginx', 'X-Content-Type-Options': 'nosniff', 'X-Frame-Options': 'DENY', 'X-XSS-Protection': '1; mode=block', 'Content-Length': '183', 'Connection': 'keep-alive'}
复制代码

要获取响应头的某个字段值，咱们能够这样：

print(r.headers['Content-Encoding'])

#返回
gzip
复制代码

Cookie

若是一个响应中包含了 cookie ，那么咱们能够利用 cookies 变量来拿到:

url = 'http://example.com/some/cookie/setting/url'
r = requests.get(url)
r.cookies['example_cookie_name']

#返回
'example_cookie_value'
复制代码

以上程序仅是样例，运行程序并不会获得下面的返回。须要包含 cookie 的响应才能够获得。

另外能够利用 cookies 变量来向服务器发送 cookies 信息：

cookies = dict(cookies_are='working')
r = requests.get('http://httpbin.org/cookies', cookies=cookies)
print(r.text)

#返回
{
  "cookies": {
    "cookies_are": "working"
  }
}
复制代码

能够看到咱们设置 cookies 参数后，返回中就包含了咱们设置的信息。

Cookie 的返回对象为 RequestsCookieJar，它和字典相似，适合跨域名跨路径使用，也就是说咱们能够为不一样的域名或者路径设置不一样的 cookie 。你还能够把 Cookie Jar 传到 Requests 中：

jar = requests.cookies.RequestsCookieJar()
#为路径/cookies设置cookie
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
#为路径/elsewhere设置cookie
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
#请求路径为/cookies的URL
url = 'http://httpbin.org/cookies'
r = requests.get(url, cookies=jar)
print(r.text)

#返回
{
  "cookies": {
    "tasty_cookie": "yum"
  }
}
复制代码

重定向与请求历史

默认状况下，除了 HEAD 请求, Requests 会自动处理全部重定向。

可使用响应对象的 history 方法来追踪重定向。

Response.history 是一个 Response 对象的列表，这个对象列表按照从最老到最近的请求进行排序。

例如，Github 将全部的 HTTP 请求重定向到 HTTPS：

r = requests.get('http://github.com')
print(r.url)
print(r.status_code)
print(r.history)

#返回
https://github.com/
200
[<Response [301]>]
复制代码

若是你使用的 Mac ，在运行这段代码时报错： ConnectionResetError: [Errno 54] Connection reset by peer。你须要升级你系统的 openssl，具体方法请自行百度关键词“mac 更新OpenSSL”，更新以后就不会报错了。

咱们还能够经过 allow_redirects 参数禁用重定向处理：

r = requests.get('http://github.com', allow_redirects=False)
print(r.status_code)
print(r.history)

#返回
301
[]
复制代码

超时

你能够经过设置 timeout 参数来告诉 requests 在通过以 timeout 参数设定的秒数时间以后中止等待响应。

requests.get('http://github.com', timeout=0.001)

#返回
requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x110adf400>, 'Connection to github.com timed out. (connect timeout=0.001)'))
复制代码

这里经过设置极短的超时时间致使请求中止等待响应，从而引起报错。注意 timeout 仅对链接过程有效，与响应体的下载无关。 timeout 并非整个下载响应的时间限制，而是若是服务器在 timeout 秒内没有应答，将会引起一个异常。

总结

本节给你们介绍了 Requests 的基本用法，若是你对爬虫有了必定的基础，那么确定能够很快上手，由于 Requests 使用起来简直太方便了。话很少说，感受上手实践吧！