小伙自从学会了Python爬虫，网上的图片素材就开始免费了

 

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具备任何商业用途,版权归原做者全部,若有问题请及时联系咱们以做处理。

加企鹅群695185429便可免费获取，资料全在群文件里。资料能够领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等

1、项目背景

    在素材网想找到合适图片须要一页一页往下翻，如今学会python就能够用程序把全部图片保存下来，慢慢挑选合适的图片。

2、项目目标

一、根据给定的网址获取网页源代码。

二、利用正则表达式把源代码中的图片地址过滤出来。

三、过滤出来的图片地址下载素材图片。

 

3、涉及的库和网站

一、网址以下：

https://www.51miz.com/

二、涉及的库：requests、lxml

4、项目分析

    首先须要解决如何对下一页的网址进行请求的问题。能够点击下一页的按钮，观察到网站的变化分别以下所示：

https://www.51miz.com/so-sucai/1789243.htmlhttps://www.51miz.com/so-sucai/1789243/p_2/https://www.51miz.com/so-sucai/1789243/p_3/

    咱们能够发现图片页数是1789243/p{}，p{}花括号数字表示图片哪一页。

 

5、项目实施

一、打开觅知网，在搜索中输入你想要的图片素材（以鼠年素材图片为例）。

 

二、根据上一步对网址的分析，首先咱们定义一个类叫作ImageSpider，类里面定义初始化函数、发送请求获取响应数据函数、解析函数、主函数。首先初始化函数，准备url地址和headers，代码以下图所示。

 

三、发送请求获取响应数据函数。

 

四、解析数据，使用xpath获取二级页面连接，最后把图片存储在文件夹中。使用谷歌浏览器选择开发者工具或直接按F12,发现咱们须要的图片src是在img标签下的，因而用Python的requests提取该组件。

 

五、主函数，代码以下图所示。

 

6、效果展现

一、运行程序，在控制台输入你要爬取的页数，以下图所示。

    

二、在本地能够看到效果图，以下图所示。