移动端数据爬取

   随着移动市场的火热,各大平台都陆陆续续的推出了本身的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据,那这些数据咱们是否能够去享用一下呢?那么接下来就进入咱们的移动端APP数据的爬虫中来吧。web

一 .  什么是Fiddler?   

   Fiddler是位于客户端和服务器端的HTTP代理,也是目前最经常使用的http抓包工具之一 。 它可以记录客户端和服务器之间的全部 HTTP请求,能够针对特定的HTTP请求,分析请求数据、设置断点、调试web应用、修改请求的数据,甚至能够修改服务器返回的数据,功能很是强大,是web调试的利器。浏览器

  既然是代理,也就是说:客户端的全部请求都要先通过Fiddler,而后转发到相应的服务器,反之,服务器端的全部响应,也都会先通过Fiddler而后发送到客户端,基于这个缘由,Fiddler支持全部能够设置http代理为127.0.0.1:8888的浏览器和应用程序。使用了Fiddler以后,web客户端和服务器的请求以下所示:安全

    Fiddler软件界面如图所示:服务器

二 .  手机APP抓包设置

a. Fiddler设置网络

    打开Fiddler软件,打开工具的设置。(Fiddler软件菜单栏:Tools->Options)工具

 在HTTPS中设置以下:post

 在Connections中设置以下,这里使用默认8888端口,固然也能够本身更改,可是注意不要与已经使用的端口冲突:测试

Allow remote computers to connect:容许别的机器把请求发送到fiddler上来spa

b. 安全证书下载
    在电脑浏览器中输入地址:http://localhost:8888/,点击FiddlerRoot certificate,下载安全证书:.net


c. 安全证书安装
    证书是须要在手机上进行安装的,这样在电脑Fiddler软件抓包的时候,手机使用电脑的网卡上网才不会报错。

    Android手机安装:把证书放入手机的内置或外置存储卡上,而后经过手机的"系统安全-》从存储设备安装"菜单安装证书。

     而后找到拷贝的FiddlerRoot.cer进行安装便可。安装好以后,能够在信任的凭证中找到咱们经安装好的安全证书。

  `  

    苹果手机安装:

        - 保证手机网络和fiddler所在机器网络是同一个网段下的

        - 在safari中访问http://fiddle机器ip:fiddler端口,进行证书下载。而后进行安装证书操做。

        - 在手机中的设置-》通用-》关于本机-》证书信任设置-》开启fiddler证书信任

d. 局域网设置
    想要使用Fiddler进行手机抓包,首先要确保手机和电脑的网络在一个内网中,可使用让电脑和手机都链接同一个路由器。固然,也可让电脑开放WIFI热点,手机连入。这里,我使用的方法是,让手机和电脑同时连入一个路由器中。最后,让手机使用电脑的代理IP进行上网。
 在手机上,点击链接的WIFI进行网络修改,添加代理。进行手动设置,ip和端口号都是fiddler机器的ip和fiddler上设置的端口号。

e. Fiddler手机抓包测试

    上述步骤都设置完成以后,用手机浏览器打开百度首页,咱们就能够顺利抓包了