斗图表情包爬虫（基于多线程）

今天写一下关于多线程的爬虫，此次咱们爬取的是斗图网站的表情包。

一. 思路：

1.对网站翻页连接进行分析，发现连接为：“http://www.doutula.com/article/list/?page=3”，咱们只须要对数字“3”进行更改即可以到达想访问的网页界面。

2.建立一个文件夹，用来存储表情包文件夹。

3.经过分析得到每一个表情包的连接，并将其封装到一个函数中，函数最终返回一个含有单个网页全部表情包连接的列表。

4.对单个表情包连接进行访问，得到每一个图片的连接，并将图片下载，保存到名为网页title的文件夹中，将这段代码封装到一个函数中。

5.建立一个函数，将3和4建立的函数进行封装。

6.建立一个继承threading.Thread的子类。

7.建立线程列表，建立线程，激活线程。

二. 代码：

 1 #!/ur/bin/nv python3
 2 #*- coding: utf-8 -*-
 3 
 4 #导入模块
 5 import requests
 6 import os
 7 import threading
 8 from bs4 import BeautifulSoup
 9 import time
10 
11 #建立函数，用来对单页网页进行获取连接，返回一个包含全部连接的列表。
12 #继承线程类
13 class New_thread(threading.Thread):
14     def __init__(self,han_name,han_can):
15         super().__init__()
16         self.han_name = han_name
17         self.han_can = han_can
18     def run(self):
19         self.han_name(*self.han_can)
20 #获取单页的全部斗图包连接
21 def dan_url_list(url,num):
22     headers = {'user-agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}
23     url_2 = url + str(num)
24     html = requests.get(url_2,headers=headers,timeout=30)
25     html.encoding = html.apparent_encoding
26     soup = BeautifulSoup(html.text,'html.parser')
27     url_lists = []
28     a= soup.find_all(name='a',attrs={'class':'list-group-item random_list'})
29     for x in a:
30         url_lists.append(x['href'])
31     return url_lists
32 
33 #得到单页连接后，对单个斗图包的url进行获取每张图片的连接。
34 def img_url(url):
35     headers = {
36         'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}
37     html = requests.get(url,headers=headers,timeout=30)
38     html.encoding = html.apparent_encoding
39     soup = BeautifulSoup(html.text,'html.parser')
40     title = soup.find('title').text.split(' - ')[0]
41     print(title)
42     try:
43         os.mkdir('/home/admin/桌面/斗图/%s' % title)
44     except:
45         pass
46     list_1 = []
47     s = soup.find_all(name='div',attrs={'class':"artile_des"})
48     for x in s:
49         try:
50             b = x.find('img')['src']
51             list_1.append(b)
52         except:
53             pass
54     for x in range(len(list_1)):
55         c = requests.get(list_1[x]).content
56         with open('/home/admin/桌面/斗图/%s/%s.jpg' % (title,x),'wb') as www:
57             www.write(c)
58 
59 #处理单页数据,这个函数将获取到的包连接用img_url函数进行处理，将图片下载到制定文件夹中。
60 def down_all(url,num):
61     for x in dan_url_list(url,num):
62         img_url(x)
63 #建立多线程。
64 def main(page_num):
65     print('...........Start：%s...............' % time.ctime())
66     thr_list = []
67     url = 'http://www.doutula.com/article/list/?page='
68     for x in range(1,page_num+1):
69         t = New_thread(down_all,(url,x))
70         thr_list.append(t)
71     #启动线程
72     for x in thr_list:
73         x.start()
74     for x in thr_list:
75         x.join()
76     print('.........All Done: %s..............' % time.ctime())
77 
78 if __name__ == '__main__':
79     a = input('你想获取多少页表情包？')
80     main(int(a))
81 
82     

 

 

谢谢你们的阅读。