http://xlzd.me/2015/09/12/zhihu数据库
玩知乎好久了,在知乎上学到很多知识,也学到很多抖机灵的技巧,知乎带给我最大的回忆,xwx。做为一个知乎重度用户兼技术宅,简单抓取了一下知乎的一点数据,力求看到一个尽量真实的知乎社区。服务器
知乎没有能够一页一页翻取用户资料的列表页,并且用户首页URL也没有规律可循,彻底是用户自定义的。考虑到我不许备拿下所有知乎用户,只但愿 取到一批质量不错的优质用户,个人抓取策略是这样的:用一个知乎大牛入手,抓取他的关注列表,而后进入他的关注列表,抓取每一个人的资料后再抓取这这些人关 注的列表,依次走下去。学习
这里我选取的入口是大名鼎鼎的轮子哥,轮子哥对我影响很深,甚至个人昵称xlzd也是模仿他的vczh而来的。令我欣慰的是,从轮子哥的关注列表出去,几分钟以后就抓到了我本身的信息。
程序运行了3天,一共抓取了1,008,071用户的数据,从他/她们的详情页获取到每一个人的信息以后,又接入了FacePlusPlus的API,对每一个人的头像进行了人脸识别。
对于数据抓取,恰好前几天获得一台阿里云的免费试用VPS,用来当作数据库服务器,而后在个人树莓派和洛杉矶用来FQ的VPS上分别部署了一个单线程的爬虫。至于为何是单线程的爬虫,缘由有二:阿里云
/people
下的数据,爬取太快容易被封。到今天下班前,阿里云的机器立刻到期了,我停掉了全部爬虫,从阿里云导出了数据。如今先是一些简单的统计信息。线程
知乎话题关注度top10:设计
知乎粉丝最多top3:code
从知乎的用户地域分布开始吧,下面是知乎的大概地理分布信息:资源
北上广深是知乎用户最集中的地区了,大概是因为知乎用户大可能是计算机行业,而这几个城市又是中国计算机行业最繁荣的城市了。部署
接着是知乎用户的公司分布状况:get
除了学生群体,知乎用户的重要汇集地就是各大互联网公司了。固然不难想象,学生群体中,计算机相关专业也有着很是大的占比。
下面的图是知乎用户职业TOP20:
很难想象,知乎用户中的产品经理占比居然如此之高!!!是程序猿没有时间刷知乎,仍是当今互联网已经发展到了一个程序猿接受N个产品经理的摧 残,还请产品经理站出来讲点什么。另外一个使人意外的是,知乎居然有接近1.03%的用户是CEO,1.407%的用户是创始人或者联合创始人,知乎做为无 数国内社区中逼格最高的社区,当之无愧~~~剩下的TOP20榜中,几乎被互联网从业群体包揽了。
而后接下来的这张图是知乎用户大学学校分布图:
由图知,知乎用户的受教育水平至关高,这也进一步夯实了其做为逼格最高的中国互联网社区。但是,在下这种没有上过大学的互联网搬砖民工,拿什么跟大家一块儿愉快的玩(zhuang)耍(bi)~~~
还有就是知乎用户的专业分布状况:
计算机科学与技术和软件工程稳稳地将其余专业甩在了在可预见的未来没法超越的远方。壮哉~~~
最后是知乎用户的性别分布:
整体来看,知乎用户男性居多,一小部分用户没有填写性别。
废话就不赘述啦,还要去喂熊呢。从上面的信息结合平常生活经验,个人一些想法: