如何进行手机APP的数据爬取？

做者：xiaoyu
微信公众号：Python数据科学
知乎：Python数据分析师

---

平时咱们的爬虫可能是针对网页的，可是随着手机端APP应用数量的增多，相应的爬取需求也就愈来愈多，所以手机端APP的数据爬取对于一名爬虫工程师来讲是一项必备的技能。咱们知道，网页爬取的时候我常常使用F12开发者工具或者fiddler之类的工具来帮助咱们分析浏览器行为。那对于手机的APP该如何使用呢？一样的，咱们也可使用fiddler来分析。好了，本篇博主将会给你们介绍如何在电脑端使用fiddler进行手机APP的抓包。

首先了解一下fiddler（百度百科）：

Fiddler是一个http协议调试代理工具，它可以记录并检查全部你的电脑和互联网之间的http通信，设置断点，查看全部的“进出”Fiddler的数据（指cookie,html,js,css等文件，这些均可以让你胡乱修改的意思）。 Fiddler 要比其余的网络调试器要更加简单，由于它不单单暴露http通信还提供了一个用户友好的格式。

完成此项工做的整个流程可分为以下几个步骤。

1. 下载fiddler抓包工具

fiddler的官方下载连接：https://www.telerik.com/downl...
安装步骤没什么特别，常规下一步完成便可。

2. 设置fiddler

这里有两点须要说明一下。

• 设置容许抓取HTTPS信息包

操做很简单，打开下载好的fiddler，找到 Tools -> Options，而后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。

• 设置容许外部设备发送HTTP/HTTPS到fiddler

相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。

好了，须要的fiddler设置就配置完成了。

3. 设置手机端

设置手机端以前，咱们须要记住一点：电脑和手机须要在同一个网络下进行操做。
可使用wifi或者手机热点等来完成。

假如你已经让电脑和手机处于同一个网络下了，这时候咱们须要知道此网络的ip地址，能够在命令行输入ipconfig简单的得到，如图。

好了，下面咱们开始手机端的设置。

手机APP的抓取操做对于Android和Apple系统均可用，博主使用的苹果系统，在此以苹果系统为例。

进入到手机wifi的设置界面，选择当前链接网络的更多信息，在苹果中是一个叹号。而后在最下面你会看到HTTP代理的选项，点击进入。

进入后，填写上面记住的ip地址和端口号，肯定保存。

4. 下载fiddler安全证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，而后点击FiddlerRoot certificate下载fiddler证书。

以上就简单完成了全部的操做，最后咱们测试一下是否好用。

5. 手机端测试

就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。

结果没有问题，抓到信息包。而后就可使用咱们分析网页的方法来进行后续的操做了。

---

关注微信公众号Python数据科学，获取 120G 人工智能 学习资料。