1、登陆公众号后台(也可以用selenium模拟登陆获取cookies)
2、将字符串cookies转成字典形式的cookies
用到字典推导式,=前面是键,=后面是值构造请求,并从响应url中获取后面需要用到的token参数
3、公众号数据接口
输入一个查询字符串,即可得到响应数据
4、向接口发送请求,获取total总数
5、接收数据,并全部数据循环爬取
6、爬虫异常,报警监控
做的中间获取到token时候给微信发送报告
7、爬取数据保存mysql展示
文章内容
标题、url
源码资源请查阅公众号源码获取方式