第七篇 爬虫挖矿神器看这篇就够了

申明：1.本文所介绍的方法仅供学习使用，严禁用做他用，谢谢配合！

          2.本文说起的每天基金app各位数据爱好者请不要太高频率的获取数据，以避免影响app的正常使用，在此谢谢你们，坚守技术人的底线，人人有责！

1、本文目的

1.笔者在网上没有找到完整的关于使用iPhone + https + Charles + win系统 的抓包教程，本身花费了大概4h完成了此case的实战

2.让有一样需求的开发、测试同窗 在学习此项技能的时候少走弯路节约时间

3.为接下来的基金数据爬取打下环境的基础（毕竟搭建环境只是能算是第0步，可是不少同窗就是由于没有搭建好环境而放弃治疗了）

 

2、抓包使用场景

1.在开发过程当中，一般咱们会遇到系列问题：

1.1在与后台联调的过程当中不断的下断点或者输出 log ，以查看给后台的参数是否正确，后台返回给咱们的结果是否有误。打断点耗时，大量输出 log 是代码不够整洁。

1.2 在咱们没有修改代码的状况下出现问题，想找出是后台的锅仍是咱们的锅。

2.在爬虫的开发过程当中，一般咱们会遇到如下问题：

2.1在寻找发送get/post的某个参数的时候，你畅游在链接的海洋中，可是就是找不见这个参数是从哪里钻出来的。

2.2在分析解决加载页面和参数的时候，咱们分不清楚参数的执行顺序的时候，能够用其定位问题。

3、抓包软件

    抓包软件有不少好比:?wireshark、Charles、Fiddler?等。我使用过的软件有Charles、Fiddler，通常建议在mac上用Charles、在win 系统上用Fiddler。固然老司机看我的喜爱了

4、Charles神器安装及配置过程

1.Charles 软件下载

能够在官网进行下载:https://www.charlesproxy.com/

若想获取永久使用的能够后台回复数字：.

2.删除已经安装的charles证书

（win+r 键执行 certmgr.msc）并删除已安装证书

3.windows 安装https证书（下面的那个证书选择受信任的根证书颁发机构很重要。没有勾选的，就抓不到报文啦）

 

4.配置软件https

 

如上操做以后，能够正常获取网络请求；

5. 查看Charles端口：

 

6.设置iphone手机代理

首先

配置iphone的http抓包

获取当前电脑的ip地址并配置到iphone。以下图配置。

获取电脑的ip地址

 

配置iphone http代理，这个安装包默认的代理端口是8888

 

7.配置iphone的https代理

安装证书

在iphone自代浏览器输入：http://chls.pro/ssl

如上配置成功，能够成功抓取移动端请求了。

 

5、抓包测试

    经过以上配置，咱们就能够愉快的抓包了，能够进行数据挖矿了，咱们的目标依旧就每天基金的app端，为什么如此青睐每天基金呢？抓包写爬虫不是目的，咱们要的是必要的数据，为后续作量化分析作准备，you know?

 

总结：

    本文经过笔者亲自实践的方式耗时4h完了以上工做，咱们的挖矿（基金数据）神器就配置到位了，后续咱们就能够在此基础上作扩展了，好了，本期的内容就先分享到这里，未完待续......

 

 

 

 

    当你发现本身的才华撑不起野心时，请安静的坐下来学习吧。    

                                                                 ------仍是牛

                 

公众号ID：pythonCoder1024扫码关注最新动态

          若是你以为公众号的内容不错，能够推荐于身边的朋友，你的每次确定和受益都会成为我前进的动力，一块儿加油！