还在付费抓取数据,你out了!

常常在个人微信群或知识星球里面听到小伙伴问,涛哥,微信公众号文章怎么抓取啊?有没有什么现成的工具啊?这个时候我通常介绍一点儿抓公众号的思路,介绍抓取的经常使用的Python工具库,让小伙伴本身操做。

由于我知道的现成工具都是直接找第三方付费工具进行处理,固然代价就是须要花费几百元。前端

因此在我内心一直知道这个事情没有被很好的解决,直到最近发现的一个爬虫抓取工具。git

这个工具叫 weixin_crawler,目前项目在github上面有1900+ 关注github

项目地址 github.com/wonderfulsu…数据库

weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等实现的微信公众号文章爬虫,自带分析报告(报告样例)和全文检索功能,几百万的文档都能瞬间搜索。后端

从做者使用的工具技术咱们能看到这是一个起点很高的项目,不管是前端技术仍是后端技术,都是目前较为流行实用的。那些找不到项目进行练手的,能够考虑把里面的DB存储从Mongodb非关系型数据库改成MySQL。微信

但愿对你们有帮助。工具

最后放上一张效果图:3d

相关文章
相关标签/搜索