重磅：链家成交数据和在售数据自动爬虫 （技术交流，请勿做为商业运做）
开源地址：html
https://github.com/AnyMarvel/LianjiaSpiderpython
https://gitee.com/dssljt/LianjiaSpidergit
欢迎吐槽，欢迎提交buggithub
前言：链家数据爬虫，本文采用两种方式
-
常见的分析PC端HTML进行数据爬取（简单实如今售数据爬取，成交数据须要在移动端查看）web
-
破解链家移动端签名密钥，使用客户端接口进行爬取（在售数据及成交数据爬取）正则表达式
篇幅有限，文章中excle截图均为部分截图json
目录结构：
- HomeLinkTest : Android 工程（用于破解链家App签名验证内容）
- jsonSource: 链家客户端json传内容样本，包含（成交商品列表页，成交商品详情页，成交商品更多内容页）（在售商品列表页，在售商品详情页，在售商品更多内容页）
- spider：链家爬虫脚本（python脚本）（爬取PC端在线数据，移动端在售数据和成交数据）
实现功能：
一. web界面爬取
爬取web界面在售内容 https://bj.lianjia.com/ershoufang/ 仅爬取在售内容（使用正则表达式进行内容匹配，进行结果输出）（经常使用爬虫方法，分析界面html进行内容获取，使用动态代理假装客户端进行访问具体内容进参考代码）服务器
python LianjiaSpider/spider/salingInfoSpider.py
使用代理服务器（开源地址）：app
https://raw.githubusercontent.com/fate0/proxylist/master/proxy.listide
进行代理服务器设置，抓取到内容后进行相对目录excle目录内容存储，运行图如图所示： （输入页数为链家PC页面当前第几页内容）
爬取结果图如图所示（在相对salingInfoSpider.py目录生成LianJiaSpider.xls excle表格）：
二.移动端数据爬取（在售，成交）
基于链家app:https://bj.lianjia.com/ 针对其签名校验进行破解
获取对应的json内容，进行自动爬取（仅作技术交流，请勿进行商业应用或其余侵权行为）
- 在售数据爬取：
python LianjiaSpider/spider/zaishou/zaiShouSpider.py
设置爬取页数和一页多少数据
结果生成在同级目录中生成excle，如图所示：
- 成交数据爬取：
python LianjiaSpider/spider/zaishou/chengJiaoJiaSpider.py
修改全局设置，注销手动输入，或使用手动输入：
chengJiaoJiaSpider.py中可设置爬取页数，其实位置，从第0页开始，因此是-100开始
成交数据如图所示：
- 在售及成交数据自动爬取：
python LianjiaSpider/spider/Spider_Thread_Manager.py
执行的为在售和成交的自动爬虫运行逻辑 若有问题请留言，转载请注明
特别提示：仅作技术交流，请勿做为其余用途，谢谢配合
app签名密钥破解，爬虫基本基本实例会稍后更新
原文地址：https://www.jianshu.com/p/c180853bc128 关注公众号，得到更多内容：