一个知乎重度用户眼中的知乎

http://xlzd.me/2015/09/12/zhihu数据库

  玩知乎好久了,在知乎上学到很多知识,也学到很多抖机灵的技巧,知乎带给我最大的回忆,xwx。做为一个知乎重度用户兼技术宅,简单抓取了一下知乎的一点数据,力求看到一个尽量真实的知乎社区。服务器


数据抓取

  知乎没有能够一页一页翻取用户资料的列表页,并且用户首页URL也没有规律可循,彻底是用户自定义的。考虑到我不许备拿下所有知乎用户,只但愿 取到一批质量不错的优质用户,个人抓取策略是这样的:用一个知乎大牛入手,抓取他的关注列表,而后进入他的关注列表,抓取每一个人的资料后再抓取这这些人关 注的列表,依次走下去。学习

  这里我选取的入口是大名鼎鼎的轮子哥,轮子哥对我影响很深,甚至个人昵称xlzd也是模仿他的vczh而来的。令我欣慰的是,从轮子哥的关注列表出去,几分钟以后就抓到了我本身的信息。
程序运行了3天,一共抓取了1,008,071用户的数据,从他/她们的详情页获取到每一个人的信息以后,又接入了FacePlusPlus的API,对每一个人的头像进行了人脸识别。
  对于数据抓取,恰好前几天获得一台阿里云的免费试用VPS,用来当作数据库服务器,而后在个人树莓派和洛杉矶用来FQ的VPS上分别部署了一个单线程的爬虫。至于为何是单线程的爬虫,缘由有二:阿里云

  • 情怀:知乎提供一个免费的优质社区平台,我不想占用它太多的资源。
  • 技术:知乎的robots.txt禁止抓取/people下的数据,爬取太快容易被封。

  到今天下班前,阿里云的机器立刻到期了,我停掉了全部爬虫,从阿里云导出了数据。如今先是一些简单的统计信息。线程

知乎top榜

  • 知乎话题关注度top10:设计

    1. 电影
    2. 旅行
    3. 互联网
    4. 创业
    5. 科技
    6. 健身
    7. 设计
    8. 美食
    9. 天然科学
    10. 经济学
  • 知乎粉丝最多top3:code

    1. 李开复
    2. 黄继新(知乎联合创始人)
    3. 周源(知乎CEO/001号员工)

知乎的用户怎么样

  从知乎的用户地域分布开始吧,下面是知乎的大概地理分布信息:资源

  北上广深是知乎用户最集中的地区了,大概是因为知乎用户大可能是计算机行业,而这几个城市又是中国计算机行业最繁荣的城市了。部署

  接着是知乎用户的公司分布状况:get

  除了学生群体,知乎用户的重要汇集地就是各大互联网公司了。固然不难想象,学生群体中,计算机相关专业也有着很是大的占比。

  下面的图是知乎用户职业TOP20:

  很难想象,知乎用户中的产品经理占比居然如此之高!!!是程序猿没有时间刷知乎,仍是当今互联网已经发展到了一个程序猿接受N个产品经理的摧 残,还请产品经理站出来讲点什么。另外一个使人意外的是,知乎居然有接近1.03%的用户是CEO,1.407%的用户是创始人或者联合创始人,知乎做为无 数国内社区中逼格最高的社区,当之无愧~~~剩下的TOP20榜中,几乎被互联网从业群体包揽了。

  而后接下来的这张图是知乎用户大学学校分布图:

  由图知,知乎用户的受教育水平至关高,这也进一步夯实了其做为逼格最高的中国互联网社区。但是,在下这种没有上过大学的互联网搬砖民工,拿什么跟大家一块儿愉快的玩(zhuang)耍(bi)~~~

  还有就是知乎用户的专业分布状况:

  计算机科学与技术和软件工程稳稳地将其余专业甩在了在可预见的未来没法超越的远方。壮哉~~~

  最后是知乎用户的性别分布:

  整体来看,知乎用户男性居多,一小部分用户没有填写性别。

总结

  废话就不赘述啦,还要去喂熊呢。从上面的信息结合平常生活经验,个人一些想法:

    • 理论基础:
      1. 互联网从业人群男女比例97:3。
      2. 知乎大体男女比例5:4(不算那6.6%没有标注性别的)。
      3. 知乎男性用户群体中,互联网从业人员比例至关高。
      4. 知乎总体用户受教育水平至关高。
    • 结论:
      1. 在中国全部社区中,知乎的逼格无人能出其右。这里没有不转不是中国人,这里何炅韩庚也没有与韩国人打赌。这里你们都在认真讨论问题或者伪装认真讨论问题。
      2. 做为先现实生活工做中接触异性比较少的互联网从业者,能够考虑来知乎试试。尤为是考虑到这里的互联网从业人员数量,对技术宅有兴趣的女同窗们也可 以来碰碰运气。因此建议我周围尚未女友的同胞们,去知乎试试,要知道90后男性已经比女性少了1/6(以及因为男女比例失衡带来的影响王尼玛这期大事 件已经算过了),知乎的比例已经很不错了,通常人我不告诉他。
      3. 在知乎,找工做/招人/找女友/找男友都是不错的(我收到过至少5个工做邀约,虽然或礼貌或粗鲁的回绝了)。
      4. 因为知乎开放注册的缘故,用户质量已经大大下降(不少0回答0赞0感谢用户)了。
      5. 这里每100人中就有2.4我的左右是CEO/创始人/联合创始人,很少说意味着什么。
      6. 感谢知乎,在这里我学到了如何学习,如何伪装学习,如何变成计算机大神,如何伪装计算机大神,如何抖机灵,......。
相关文章
相关标签/搜索