抖音数据采集之mitmproxy抓包采集数据, 核心加密技术
配置说明
- window10 系统64位操作系统
- mitmproxy 5.2 window版本
- 夜神模拟器, 抓包须安卓7.0以下系统
- Mysql 数据库 用做数据去重
- Navicat 15 可视化操作数据库
- Python语音环境，采集脚本
采集思路
- 下拉视频评论列表&粉丝列表截取数据包
- 解析数据包，保存到数据库，可自动去重
抓包分析
评论列表：
https://aweme.snssdk.com/aweme/v2/comment/list/?
粉丝列表：
https://aweme.snssdk.com/aweme/v1/user/follower/list/?
利用mitmproxy抓包工具拦截以上两个数据包，提炼数据
mitmproxy 设置代理本地ip和端口，然后打开网页输入mitm.it，下载证书，安装证书后即可拦截数据包
动图演示
数据示范
可进行数据清洗,分析等操作, 促进账号发展 , 抖音生态业务拓展
其他字段添加url自行发掘, 有任何问题可私信交流, q: 848434978, 或加扣交流学习
下篇博客: 抖音数据采集之视频去水印, 核心加密技术