假如你已经开始学python，对爬虫没有头绪，不妨看看这几个案例！
1、论述php
这几个案例之前是给一些想进入Python行业的朋友写的，看到你们都比较满意，因此就再次拿了出来，若是你已经开始学python，对爬虫没有头绪，不妨看看这几个案例，文末更多分享！python
2、环境准备linux
Python 3程序员
requests库 、lxml库、beautifulsoup4库json
pip install XX XX XX一并安装。微信
在这里相信有许多想要学习Python的同窗，你们能够+下Python学习分享裙：叁零肆+零伍零+柒玖玖，便可免费领取一整套系统的 Python学习教程python爬虫
3、Python爬虫小案例工具
一、获取本机的公网IP地址学习
利用python的requests库+公网上查IP的接口，自动获取IP地址搜索引擎
二、利用百度的查找接口，Python编写url采集工具
须要用到requests库、BeautifulSoup库，观察百度搜索结构的URL连接规律，绕过百度搜索引擎的反爬虫机制的方法为在程序中设置User-Agent请求头。
Python源代码：
Python语言编写好程序后，利用关键词inurl:/dede/login.php 来批量提取某网cms的后台地址：
三、利用Python打造搜狗壁纸自动下载爬虫
搜狗壁纸的地址是json格式，因此用json库解析这组数据，爬虫程序存放图片的磁盘路径改为欲存图片的路径就能够了。
效果图：
四、Python自动填写问卷调查
与通常网页同样，屡次提交数据会要输入验证码，这就是反爬机制。
如图：
那么如何绕过验证码的反爬措施？利用X-Forwarded-For伪造IP地址访问便可，Python代码以下：
效果：
五、获取西刺代理上的IP，验证这些代理被封禁掉的可能性与延迟时间
能够把Python爬取的代理IP添加到proxychain里面，就能够进行通常的渗透任务了。这里直接调用了linux的系统命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ，在Windows中运行此程序须要修改倒数第三行os.popen里的命令，修改成Windows可以执行的就能够了。
爬取到的数据如图：
演示：
结论
其实咱们可以用python作许多很是有趣的事。假如说上面的爬虫小案例未可以彻底理解，那我最后再送上一套python爬虫手把手系列的视频教程关注微信公众号：程序员大牛！天天分享干货！