Python 爬虫从入门到进阶之路（九）

以前的文章咱们介绍了一下 Python 中的正则表达式和与爬虫正则相关的 re 模块，本章咱们就利用正则表达式和 re 模块来作一个案例，爬取《糗事百科》的糗事并存储到本地。

咱们要爬取的网站连接是 https://www.qiushibaike.com/text/page/1/ 。

咱们要爬取的是里面的糗事，在以前的文章中咱们已经能够爬取整个 url 连接里的 html 内容，那么咱们就能够根据爬取到的 html 代码，再经过 re 模块匹配咱们想要的内容便可。

咱们经过调用开发者工具检查 HTML 元素发现咱们想要的内容在  <div class="content"> ...... </div>  内，根据这个咱们能够写出代码以下：

 1 import urllib.request
 2 import re
 3 import ssl
 4 
 5 # 取消代理验证
 6 ssl._create_default_https_context = ssl._create_unverified_context
 7 
 8 url = "https://www.qiushibaike.com/text/page/1/"
 9 # User-Agent头
10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
11 headers = {'User-Agent': user_agent}
12 req = urllib.request.Request(url, headers=headers)
13 response = urllib.request.urlopen(req)
14 # 获取每页的HTML源码字符串
15 html = response.read().decode('utf-8')
16 # 建立正则表达式规则对象，匹配每页里的糗事内容，re.S 表示匹配所有字符串内容
17 # re.S 若是没有re.S 则是只匹配一行有没有符合规则的字符串，若是没有则下一行从新匹配
18 # 若是加上re.S 则是将全部的字符串将一个总体进行匹配
19 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
20 # 将正则匹配对象应用到html源码字符串里，返回这个页面里的全部糗事的列表
21 content_list = pattern.findall(html)
22 # 调用dealPage() 处理糗事里的杂七杂八
23 print(content_list)

最终咱们打印结果以下：

从上面的打印结果能够看出咱们已经拿到了咱们想要的数据，而且存储在了一个列表里，那么接下来咱们只须要再处理一下列表，叫列表内杂七杂八的内容，如上图中的 \n <span>标签等去掉，就是咱们想要的内容了。

1 for item in item_list:
2     item = item.replace('<span>', "").replace('<span class="contentForAll">查看全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
3     print(item)
4     self.writePage(item)

上面的代码中 item_list 即为咱们上面所获取到的 content_list 列表，经过对列表的内容分析，咱们发现有 <span> ，<span class="contentForAll">查看全文，</span>，<br/>，\n 等多余内容，咱们经过 replace 方法将其转为空，剩下的就是咱们想要的内容了，接下来就是存储到本地便可了。

上面就能够实现一个获取 糗事百科 的糗事的简单爬虫，可是只能爬取单个页面的内容，经过分析 url 咱们发现 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即为页码，咱们就能够根据这个页码逐一爬取更多页面的内容，最终的代码以下：

 1 import urllib.request
 2 import re
 3 import ssl
 4 
 5 # 取消代理验证
 6 ssl._create_default_https_context = ssl._create_unverified_context
 7 
 8 
 9 class Spider:
10     def __init__(self):
11         # 初始化起始页位置
12         self.page = 1
13         # 爬取开关，若是为True继续爬取
14         self.switch = True
15 
16     def loadPage(self):
17         """
18            做用：打开页面
19         """
20         url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
21         # User-Agent头
22         user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
23         headers = {'User-Agent': user_agent}
24         req = urllib.request.Request(url, headers=headers)
25         response = urllib.request.urlopen(req)
26         # 获取每页的HTML源码字符串
27         html = response.read().decode('utf-8')
28         # 建立正则表达式规则对象，匹配每页里的糗事内容，re.S 表示匹配所有字符串内容
29         # re.S 若是没有re.S 则是只匹配一行有没有符合规则的字符串，若是没有则下一行从新匹配
30         # 若是加上re.S 则是将全部的字符串将一个总体进行匹配
31         pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
32         # 将正则匹配对象应用到html源码字符串里，返回这个页面里的全部糗事的列表
33         content_list = pattern.findall(html)
34         # 调用dealPage() 处理糗事里的杂七杂八
35         self.dealPage(content_list)
36 
37     def dealPage(self, item_list):
38         """
39             @brief 处理获得的糗事列表
40             @param item_list 获得的糗事列表
41             @param page 处理第几页
42         """
43         for item in item_list:
44             item = item.replace('<span>', "").replace('<span class="contentForAll">查看全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
45             self.writePage(item)
46 
47     def writePage(self, text):
48         """
49             @brief 将数据追加写进文件中
50             @param text 文件内容
51         """
52         myFile = open("./duanzi.txt", 'a')  # 追加形式打开文件
53         myFile.write(text + "\n\n")
54         myFile.close()
55 
56     def startWork(self):
57         """
58             控制爬虫运行
59         """
60         # 循环执行，直到 self.switch == False
61         while self.switch:
62             # 用户肯定爬取的次数
63             self.loadPage()
64             command = input("若是继续爬取，请按回车（退出输入quit)")
65             if command == "quit":
66                 # 若是中止爬取，则输入 quit
67                 self.switch = False
68             # 每次循环，page页码自增1
69             self.page += 1
70         print("爬取结束！")
71 
72 
73 if __name__ == '__main__':
74     # 定义一个Spider对象
75     qiushiSpider = Spider()
76     qiushiSpider.startWork()

最终会在本地添加一个 qiushi.txt 的文件，结果以下：