微信公众号文章采集方案

方案一：基于搜狗入口

在网上能搜索到的公众号文章采集相关的信息来看来看，这是最多、最直接、也是最简单的一种方案。
通常流程是：

• 搜狗微信搜索入口进行公众号搜索
• 选取公众号进入公众号历史文章列表
• 经过文章列表获取文章连接，经过文章连接获取文章内容
• 对文章内容进行解析入库

采集过于频繁的话，搜狗搜索和公众号历史文章列表访问都会出现验证码。直接采用通常的脚本采集是没法拿到验证码的。这里可使用无头浏览器来进行访问,经过对接打码平台识别验证码。无头浏览器可采用selenium。

即使采用无头浏览器一样存在问题：

• 效率低下（实际上就是在跑一个完整的浏览器来模拟人类操做）
• 网页资源浏览器加载难以控制，脚本对浏览器加载很难控制
• 验证码识别也没法作到100%，中途极可能会打断抓取流程

若是坚持使用搜狗入口并想进行完美采集的话只有增长代理IP。顺便说一句，公开免费的IP地址就别想了，很是不稳定，并且基本都被微信给封了。

除了面临搜狗/微信的反爬虫机制以外，采用此方案还有其余的缺点：

• 没法得到阅读数、点赞数等用于评估文章质量的关键信息
• 没法及时得到已经发布公众号文章，只能做按期的重复爬取
• 只能得到最近十条群发文章

方案二：对手机微信进行中间人攻击

中间人攻击本是某种黑客手法，用于截取客户端与服务端之间的通讯信息。这种方案的思路是在手机微信和微信服务器之间搭建一个“HTTPS代理”，用于截获手机微信获取的公众号文章信息。通常性步骤是：

• 手机微信搜索一个公众号
• 点击进入公众号历史文章页面
• 代理识别已经进入列表页，进行内容截获，同时根据实际状况返回继续下拉或爬取新的公众号的js代码

这种方案可以实现自动化的缘由是：

• 微信公众号使用的是HTTPS协议，且内容未加密
• 微信公众号文章列表和详情本质上是个Web页面，能够嵌入js代码进行控制

这种方案的优势：

• 通常状况下不会被屏蔽
• 能拿到点赞数和阅读数等文章评估信息
• 能拿到公众号所有的历史文章

固然，也存在不少缺点：

• 须要一个长期联网的实体手机
• 前期须要设置代理，工做量比较大
• 本质上仍是个轮查的过程，而不是实时推送
• 一样有Web加载难以控制的风险，且本地网络环境对其影响很是大
• 存在着微信接口发生变动代码再也不适应的状况

这种方案还存在着一些变种，好比：

• 经过lua脚本控制公众号搜索而不是靠代理返回嵌入的js代码
• 经过GUI操做脚本控制PC端微信

但都存在“不能精确稳定控制”的缺点

方案三：网页微信抓包分析

在被微信反爬虫虐了很长时间以后，和同事大脑风暴寻找新的微信公众号文章爬取方案。就分析有哪些能得到数据的入口。模糊记得网页微信是有公众号文章阅读功能的，正好我曾把玩过一段时间我的微信机器人，主要使用的是ItChat这个Python包。它实现的原理就是对网页微信进行抓包分析，汇总成我的微信接口，目标就是全部网页微信能实现的功能它都能实现。。因此就有了一个初步的方案——经过ItChat让微信公众号文章本身推送过来。快下班的时候和同事提了一下，他也挺感兴趣，次日就实现出来了验证代码（ItChat实现相应功能代码很是简短，内容解析部分以前就作了，能够直接用）。

这种方案的主要流程是：

• 手机微信关注要抓取的目标公众号
• 服务器端经过ItChat登陆网页微信
• 当公众号发布新文章推送的时候，会被服务端截获进行后续的解析入库

这种方案的优势是：

• 基本零间隔获取已经发布的公众号文章
• 能获取点赞数、阅读数
• 只需手机微信保持登录，不用其余操做

固然缺点也是有的：

• 须要一台长期联网的手机
• 手机微信不能主动退出，或长时间掉线
• 一个微信一天可以关注的公众号有限
• 新微信号不能登录网页微信，也就不能用于此方案
• 只能获取最新发布的文章，没法获取历史文章

---

微信公众号文章采集基本上就是和腾讯斗智斗勇，费心费力。直到如今也没能找到一个完美的解决方案，只能根据实际的采集目标，择优选取。要彻底服务端，不依赖手机微信，不须要点赞数阅读数，有大量代理IP就采用方案一；本地网络稳定且有富裕的手机就用方案二；须要及时得到公众号发布的最新文章的话就用方案三。

写的比较杂乱，见谅！

祝我早点脱坑！