[实战演练]python3使用requests模块爬取页面内容

 

本文摘要：
1.安装pip
2.安装requests模块
3.安装beautifulsoup4
4.requests模块浅析
    + 发送请求 + 传递URL参数
    + 响应内容
    + 获取网页编码
    + 获取响应状态码
5.案例演示
后记

 

1.安装pip

个人我的桌面系统用的linuxmint，系统默认没有安装pip，考虑到后面安装requests模块使用pip，因此我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功，查看PIP版本：

$ pip -V

 

2.安装requests模块

这里我是经过pip方式进行安装：

$ pip install requests

安装requests

运行import requests，若是没提示错误，那说明已经安装成功了！

检验是否安装成功

 

3.安装beautifulsoup4

Beautiful Soup 是一个能够从HTML或XML文件中提取数据的Python库。它可以经过你喜欢的转换器实现惯用的文档导航，查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工做时间。

$ sudo apt-get install python3-bs4

注：这里我使用的是python3的安装方式，若是你用的是python2,可使用下面命令安装。

$ sudo pip install beautifulsoup4

 

4.requests模块浅析

1）发送请求

首先固然是要导入 Requests 模块：

>>> import requests

而后，获取目标抓取网页。这里我以简书为例：

>>> r = requests.get('http://www.jianshu.com/p/b8ef5c005ba4')

这里返回一个名为 r 的响应对象。咱们能够从这个对象中获取全部咱们想要的信息。这里的get是http的响应方法，因此触类旁通你也能够将其替换为put、delete、post、head。

 

2）传递URL参数

有时咱们想为 URL 的查询字符串传递某种数据。若是你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， jianshu.com/get?key=val。 Requests 容许你使用 params 关键字参数，以一个字符串字典来提供这些参数。

举例来讲，当咱们google搜索“python爬虫”关键词时，newwindow(新窗口打开)、q及oq(搜索关键词)等参数能够手工组成URL ，那么你可使用以下代码：

>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}

>>> r = requests.get("https://www.google.com/search", params=payload)

 

3）响应内容

经过r.text或r.content来获取页面响应内容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content两者的区别，简单说：

resp.text返回的是Unicode型的数据；

resp.content返回的是bytes型也就是二进制的数据；

因此若是你想取文本，能够经过r.text，若是想取图片，文件，则能够经过r.content。

 

4）获取网页编码

>>> r = requests.get('http://www.jianshu.com/')

>>> r.encoding

'utf-8'

 

5）获取响应状态码

咱们能够检测响应状态码：

>>> r = requests.get('http://www.jianshu.com/')

>>> r.status_code

200

 

5.案例演示

最近公司刚引入了一款OA系统，这里我以其官方说明文档页面为例，而且只抓取页面中文章标题和内容等有用信息。

演示环境

操做系统：linuxmint

python版本：python 3.5.2

使用模块：requests、beautifulsoup4

 

代码以下：

 

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取页码内容，返回响应对象
response = requests.get(url)

#查看响应状态码
status_code = response.status_code

#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

 

程序运行返回爬去结果：

抓取成功

关于爬去结果乱码问题

其实起初我是直接用的系统默认自带的python2操做的，但在抓取返回内容的编码乱码问题上折腾了老半天，google了多种解决方案都无效。在被python2“整疯“以后，只好老老实实用python3了。对于python2的爬取页面内容乱码问题，欢迎各位前辈们分享经验，以帮助我等后生少走弯路。

 

后记

python的爬虫相关模块有不少，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，我我的以为requests模块是相对简单易上手的了。经过文本，你们能够迅速学会使用python的requests模块爬取页码内容。本人能力有限，若是文章有任何错误欢迎不吝赐教，其次若是你们有任何关于python爬去页面内容的疑难杂问，也欢迎和你们一块儿交流讨论。

咱们共同窗习，共同交流，共同进步！

 

参考：

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#

http://cn.python-requests.org/zh_CN/latest/