最简单的Python爬取微信公众号(不到50行)

前言

爬取微信公众号是一个很艰难的工做，这里说的是最简单的一种方法，固然也是有不少缺陷的。项目的源码：github.com/zjhpure/cra…

原理

经过wxpy框架登陆网页微信，实时获取最新的微信公众号文章。

背景

wxpy框架是一个微信聊天机器人框架，wxpy框架基于itchat框架，itchat框架也是一个微信聊天机器人框架，wxpy框架是改进了itchat框架的微信聊天机器人框架，在网页微信中是能够获取到最新的微信公众号推送的，因此用wxpy框架爬取微信公众号文章也是能够的。

源码

核心代码很简单，不超过50行，

# coding: utf-8
from wxpy import *

# 初始化机器人，扫码登录，在命令行上登陆console_qr参数必须设置为True
# 由于在命令行登陆不会弹出二维码图片，只会在命令行上直接生成二维码
bot = Bot(console_qr=True)

# 打印来自其余好友、群聊和公众号的消息
@bot.register()
def print_others(msg):
    print('msg:' + str(msg))
    articles = msg.articles
    if articles is not None:
        for article in articles:
            print('title:' + str(article.title))
            print('summary:' + str(article.summary))
            print('url:' + str(article.url))
            print('cover:' + str(article.cover))

if __name__ == '__main__':
    # 或者仅仅堵塞线程
    bot.join()
复制代码

执行上面代码后，命令行界面会出现二维码，打开微信扫二维码，登陆网页微信，挂着网页微信实时接收微信公众号推送。

注意

这里有个问题，就是article里没有文章的发表时间，这一点我以为有些奇怪，由于我经过抓包网页微信是看到有微信公众号文章推送的时间戳的，按理说这里的article应该要有个发表时间的属性的。如下是wxpy框架articles方法的源码，并无发现有发表时间的这一属性，

@property
def articles(self):
    """
    公众号推送中的文章列表 (首篇的 标题/地址 与消息中的 text/url 相同)

    其中，每篇文章均有如下属性:

    * `title`: 标题
    * `summary`: 摘要
    * `url`: 文章 URL
    * `cover`: 封面或缩略图 URL
    """

    from wxpy import MP
    if self.type == SHARING and isinstance(self.sender, MP):
        tree = ETree.fromstring(self.raw['Content'])
        # noinspection SpellCheckingInspection
        items = tree.findall('.//mmreader/category/item')

        article_list = list()

        for item in items:
            def find_text(tag):
                found = item.find(tag)
                if found is not None:
                    return found.text

            article = Article()
            article.title = find_text('title')
            article.summary = find_text('digest')
            article.url = find_text('url')
            article.cover = find_text('cover')
            article_list.append(article)

        return article_list
复制代码

由于wxpy框架是基于itchat框架的，因此我推测有多是wxpy框架没有继承itchat里的文章发表时间数据，或者itchat框架自己就没有文章发表时间的数据。这个问题能够用一个折中的方法，若是文章的发表时间的准确性对于你的业务来讲没有多大影响的，能够用接收到推送的时间做为文章的发表时间，可是若是文章发表时间的准确性很重要就不行了，由于接收到推送的时间会有延迟，并且也可能会出现凌晨前发出的文章，凌晨后爬虫服务器才接收到推送，那发表时间的日期就错了，并且也会有可能爬虫服务器的时间自己就出错了。

缺陷

用网页微信这种方法来爬取微信公众号，只能爬取到最新推送的公众号文章，不能爬取微信公众号历史消息，由于网页微信自己就没有查看微信公众号历史消息的功能，可是这种方法却能很及时地爬取到微信公众号的最新推送，可是一旦爬取时出了错，就没法挽回了。

提醒

要注意封号的问题，不能挂着时间太长，由于一个正常的微信号是不会很长时间挂着网页微信的，能够尝试用多个微信号轮流切换着挂网页微信。微信从大概2017年年尾起，新注册的微信号都不能登陆网页微信了，因此只能用旧号。

后序

微信爬取公众号不能只用一种方法，只用一种方法存在很大的风险，须要多种方法结合一块儿用，多种方法竞争获取文章列表源，添加到文章队列中，再由另一个服务不断地获取文章队列来爬取文章。