Charles是一个网络抓包工具,咱们能够用它来作App的抓包分析,获得App运行过程当中发生的全部网络请求和响应内容,这就和Web端浏览器的开发者工具Network部分看到的结果一致。
api
相比Fiddler来讲,Charles的功能更强大,并且跨平台支持更好。因此咱们选用Charles做为主要的移动端抓包工具,用于分析移动App的数据包,辅助完成App数据抓取工做。浏览器
本节咱们以京东App为例,经过Charles抓取App运行过程当中的网络数据包,而后查看具体的Request和Response内容,以此来了解Charles的用法。
服务器
请确保已经正确安装Charles并开启了代理服务,手机和Charles处于同一个局域网下,Charles代理和CharlesCA证书设置好。
网络
首先Charles运行在本身的PC上,Charles运行的时候会在PC的8888端口开启一个代理服务,这个服务其实是一个HTTP/HTTPS的代理。
并发
确保手机和PC在同一个局域网内,咱们可使用手机模拟器经过虚拟网络链接,也可使用手机真机和PC经过无线网络链接。app
设置手机代理为Charles的代理地址,这样手机访问互联网的数据包就会流经Charles,Charles再转发这些数据包到真实的服务器,服务器返回的数据包再由Charles转发回手机,Charles就起到中间人的做用,全部流量包均可以捕捉到,所以全部HTTP请求和响应均可以捕获到。同时Charles还有权力对请求和响应进行修改。ide
初始状态下Charles的运行界面以下图所示。
工具
Charles会一直监听PC和手机发生的网络数据包,捕获到的数据包就会显示在左侧,随着时间的推移,捕获的数据包愈来愈多,左侧列表的内容也会愈来愈多。测试
能够看到,图中左侧显示了Charles抓取到的请求站点,咱们点击任意一个条目即可以查看对应请求的详细信息,其中包括Request、Response等内容。spa
接下来清空Charles的抓取结果,点击左侧的扫帚按钮便可清空当前捕获到的全部请求。而后点击第二个监听按钮,确保监听按钮是打开的,这表示Charles正在监听App的网络数据流,以下图所示。
这时打开手机京东,注意必定要提早设置好Charles的代理并配置好CA证书,不然没有效果。
打开任意一个商品,如iPhone,而后打开它的商品评论页面,以下图示。
不断上拉加载评论,能够看到Charles捕获到这个过程当中京东App内发生的全部网络请求,以下图所示。
左侧列表中会出现一个api.m.jd.com连接,并且它在不停闪动,极可能就是当前App发出的获取评论数据的请求被Charles捕获到了。咱们点击将其展开,继续上拉刷新评论。随着上拉的进行,此处又会出现一个个网络请求记录,这时新出现的数据包请求肯定就是获取评论的请求。
为了验证其正确性,咱们点击查看其中一个条目的详情信息。切换到Contents选项卡,这时咱们发现一些JSON数据,核对一下结果,结果有commentData
字段,其内容和咱们在App中看到的评论内容一致,以下图所示。
这时能够肯定,此请求对应的接口就是获取商品评论的接口。这样咱们就成功捕获到了在上拉刷新的过程当中发生的请求和响应内容。
如今分析一下这个请求和响应的详细信息。首先能够回到Overview选项卡,上方显示了请求的接口URL,接着是响应状态Status Code、请求方式Method等,以下图所示。
这个结果和本来在Web端用浏览器开发者工具内捕获到的结果形式是相似的。
接下来点击Contents选项卡,查看该请求和响应的详情信息。
上半部分显示的是Request的信息,下半部分显示的是Response的信息。好比针对Reqeust,咱们切换到Headers选项卡便可看到该Request的Headers信息,针对Response,咱们切换到JSON TEXT选项卡便可看到该Response的Body信息,而且该内容已经被格式化,以下图所示。
因为这个请求是POST请求,咱们还须要关心POST的表单信息,切换到Form选项卡便可查看,以下图所示。
这样咱们就成功抓取App中的评论接口的请求和响应,而且能够查看Response返回的JSON数据。
至于其余App,咱们一样可使用这样的方式来分析。若是咱们能够直接分析获得请求的URL和参数的规律,直接用程序模拟便可批量抓取。
Charles还有一个强大功能,它能够将捕获到的请求加以修改并发送修改后的请求。点击上方的修改按钮,左侧列表就多了一个以编辑图标为开头的连接,这就表明此连接对应的请求正在被咱们修改,以下图所示。
咱们能够将Form中的某个字段移除,好比这里将partner字段移除,而后点击Remove。这时咱们已经对原来请求携带的Form Data作了修改,而后点击下方的Execute按钮便可执行修改后的请求,以下图所示。
能够发现左侧列表再次出现了接口的请求结果,内容仍然不变,以下图所示。
删除Form表单中的partner字段并无带来什么影响,因此这个字段是可有可无的。
有了这个功能,咱们就能够方便地使用Charles来作调试,能够经过修改参数、接口等来测试不一样请求的响应状态,就能够知道哪些参数是必要的哪些是没必要要的,以及参数分别有什么规律,最后获得一个最简单的接口和参数形式以供程序模拟调用使用。
以上内容即是经过Charles抓包分析App请求的过程。经过Charles,咱们成功抓取App中流经的网络数据包,捕获原始的数据,还能够修改原始请求和从新发起修改后的请求进行接口测试。
知道了请求和响应的具体信息,若是咱们能够分析获得请求的URL和参数的规律,直接用程序模拟便可批量抓取,这固然最好不过了。
可是随着技术的发展,App接口每每会带有密钥,咱们并不能直接找到这些规律,那么怎么办呢?接下来,咱们将了解利用Charles和mitmdump直接对接Python脚本实时处理抓取到的Response的过程。