Python爬虫教程：包图网免费付费素材爬取【附源码】

包图网你们都知道吧 集齐海量设计素材 十分好用 惋惜太贵了,今天就带你们使用Python—爬虫爬取这些素材而且保存到本地!

抓取一个网站的内容，咱们须要从如下几方面入手：

1-如何抓取网站的下一页连接？

2-目标资源是静态仍是动态(视频、图片等)

3-该网站的数据结构格式

源代码以下

import requestsfrom lxml import etreeimport threading  class Spider(object): def __init__(self): self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"} self.offset = 1  def start_work(self, url): print("正在爬取第 %d 页......" % self.offset) self.offset += 1 response = requests.get(url=url,headers=self.headers) html = response.content.decode() html = etree.HTML(html)  video_src = html.xpath('//div[@class="video-play"]/video/@src') video_title = html.xpath('//span[@class="video-title"]/text()') next_page = "http:" + html.xpath('//a[@class="next"]/@href')[0] # 爬取完毕... if next_page == "http:": return  self.write_file(video_src, video_title) self.start_work(next_page)  def write_file(self, video_src, video_title): for src, title in zip(video_src, video_title): response = requests.get("http:"+ src, headers=self.headers) file_name = title + ".mp4" file_name = "".join(file_name.split("/")) print("正在抓取%s" % file_name) with open('E://python//demo//mp4//'+file_name, "wb") as f: f.write(response.content) if __name__ == "__main__": spider = Spider() for i in range(0,3): # spider.start_work(url="https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html") t = threading.Thread(target=spider.start_work, args=("https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html",))        t.start()

效果展现

为了帮助你们更轻松的学好Python开发，爬虫技术，Python数据分析，人工智能,给你们分享一套系统教学资源，加Python技术学习qq裙：583262168，免费领取。学习过程当中有疑问，群里有专业的老司机免费答疑解惑!

PS：若是以为本篇文章对您有所帮助，欢迎关注、订阅！帮忙点个 再看 转发一下 分享出去

*声明：本文于网络整理，版权归原做者全部，如来源信息有误或侵犯权益，请联系咱们删除或受权事宜。

本文分享自微信公众号 - python教程（pythonjc）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。