1、前言
近期，《三十而已》这部电视剧走进人们的视野之中，而且屡次上微博等平台的热搜，因而决定在知乎上看看你们对这部剧的见解，进行关键词的爬虫。浏览器
2、爬取过程遇到的问题
原本觉得，知乎的抓包会很容易，因而直接打开浏览器，经过关键词的搜索，直接进入咱们须要爬取的页面（下图），但抓包以后发现，抓到的网址，直接请求并不能获得咱们须要的数据。
这时候，我想到了神器：selenium，可是这样子的话一点挑战难度都没有，实在没意思，因此决定对知乎app进行爬取。
app
3、准备工具
要想对手机app进行抓取，这时候无非就要用到chales、fiddler、mitmproxy等中间人抓包工具，这里我选择用mitmproxy，其他抓包工具的用法无非是大同小异，很是容易上手，就不作赘述了。工具
4、进行知乎app的抓包
不难发现，知乎的页面是经过瀑布流的方式给咱们发送数据的，所以咱们只要对页面进行下拉，很容易抓到咱们须要的数据。
一边下拉，一边看着抓包工具，随意点进去几个网址。哎？这不就是咱们须要的数据吗，比《甄嬛传》还精彩可还行。
spa
5、结果展现
6、总结
本文是想展现对手机app进行抓包的一个具体过程，由于关键字较多，所以没有设立特定字段，从上图能够看出，具体的数据咱们已经获取了，感兴趣的小伙伴们，能够自行写一下代码，爬取本身想看的内容。
对app爬虫的方式有好几种，我这个较为简单，若是有大神对app逆向有深刻研究的，能够在评论区下方进行讨论，感谢！
blog