大规模批量采集微信公众号文章(支持微信公众号最大规模抓取 包括阅读数 好看数和评论数)

大规模批量采集微信公众号文章

记录一下今天的成果，确实能够抓取到，配置完成以后1分钟能够抓取100+（后来优化了一下，能够达到300左右）片吧，我没有用多进程，若是是多进程的话，效率会翻倍的增长。

抓取思路

　　网上的方法大约有四种(其实有5种方式 仍是一种 不方便写出，太暴力)

　　第一：经过搜狗微信  搜索入口 ，模拟搜索抓取，效率比较低，可是加了代理能够天天抓几百万。

　　第二：经过抓包工具截取htts请求的数据包，意思就是使用pc端微信登陆，监听公众号的推送消息，每当监听到推送以后就把数据获取下来，缺点是没法获取之前的历史记录

　　第三：经过微信公众号的后台获取cookie和token来抓取；缺点是须要注册一个公众号，并且token有过时时间

　　第四：万能key或者公众号key抓取 ，key有效时间为两个小时，每一个微信号一天最多能够抓取1200次，优点只要解决key的自动获取就很是方便自动。

以上几种是网友提供的思路，均可以实现，但同时也都有缺点。

如下是我用第三种方法实现的；

使用php,node.js均可以抓取；

　　1.注册微信公众，登陆以后选择新建素材，而后点击超连接，搜索任意公众号，保存该公众号的fakeid，同时保存cookie和token，

　　2.在https请求中 设置header的cookie为第1步保存的cookie，参数是token，发送https请求，你会惊奇的发现已经拿下某公众号的历史记录 （默认40条）；

　　3.而后根据列表里面的内容连接地址，再获取具体的网页内容；

　　4.把获取的内容存到本地的数据库中

总结：以上思路仅供参考，具体实现须要靠本身；

提示：源码收费，还请谅解；

------------------------------------------------------------------------------

鉴于有人咨询了一下抓取程序价格，我在这里声明一下：

抓取的功能没有你想的那么智能

1.须要指定公众号（能够指定多个，没有上限）

2.须要设置token以及对应的cookie参数；

3.抓取速度，大约一分钟能够抓取300片左右（视网络，内容多少而定）

看到这里，你尚未放弃，那么看来你是真相要了。

能够一次性需求

能够购买源码，由于源码是我本身开发方便我本身阅读用的，通常要买源码的都须要作一些修改和开发，视状况而定

如需详细联系 请加 QV,qq 85437898  另外咱们支持全网抓取和大规模抓取 包括阅读数 好看数和评论数