程序员爬取 2 万条数据，撕开微博热搜的真相！
做者 | 徐麟程序员
责编 | 伍杏玲后端
吃瓜前言服务器
关于新浪微博，向来都是各路吃瓜群众汇集之地，你们在微博中能够尽情吃瓜，各类类型的瓜应有尽有，只有你想不到的，没有你吃不到的。微博热搜榜更是各路明星的“必争之地”，可以上热搜也是表明了其知名度，“包月热搜套餐”，“买热搜”是否存在迄今也是一个未解之谜架构
除了吃瓜群众，新浪微博也汇集着一群被整个互联网圈所同情的一群苦逼程序员，每当有明星放出新闻，特别是结婚、离婚、分手、恋爱这类婚恋题材，新浪微博程序员都会严阵以待，此时的服务器会由于吃瓜群众的大量涌入而变得脆弱起来，随时有崩溃的风险，下图就是一张此前广为流传的程序员在本身婚礼处理服务器崩溃的经典图片：并发
咱们这次经过爬取2019年2W+条热搜数据，包括内容以及搜索指数，为你们揭开微博热搜2019的诸多秘密，一块儿利用数据“硬核吃瓜”，包括：2019微博热搜最大的瓜，微博程序员集体加班的日子，微博热搜的常客，热搜里的2019互联网……app
瓜源获取高并发
咱们这次并无直接去爬取微博的原始数据，而是从一个专门记录微博热搜历史数据的网站获取，网站界面以下：学习
经过网站的数据接口，咱们获取到了今天1月1日至今的2W多条数据，爬取代码以下：网站
最终获取到的吃瓜数据以下：
ui
硬核吃瓜
有了前面的瓜源获取过程，咱们获取到了2W+吃瓜数据，下面就能够开始利用这些数据愉快地开始咱们的吃瓜之旅。
第一瓜：2019微博热搜最火事件
说到吃瓜，你们首先关注的必定是那些最大的瓜，要吃就吃最大的瓜也是广大吃瓜群众所听从的基本原则，咱们经过对比热搜数据的搜索指数，选取出了15个最大的瓜，数据以下：
看来最大的瓜都是婚恋题材，排名前四的瓜涵盖告终婚、离婚、分手这些广大吃瓜群众所最为关心的内容，而且有了明星加成，结出这些巨型瓜也就不足为奇，你们能够看到排名第14的热搜“今天究竟是什么日子”可能会好奇，为什么这种标题也会有那么高的搜索量，想要知道这个问题的答案，就请继续去品尝下面的瓜
第二瓜：2019最让微博程序员抓狂的日子
刚才的瓜中，咱们留下了一个悬念，为什么“今天究竟是什么日子”这种看似没有任何养分的内容，都会有那么高的搜索指数。为了回答这个问题，咱们统计了2019年天天的TOP100热搜话题平均指数，并绘制了日历热度图：
能够看到6月27日的指数远高于其余天数，并且基本上是其余时间的两到三倍，这一天就是“今天究竟是什么日子”这个话题的诞生之日，而且这一天微博服务器毫无疑问地“应声倒地”，我想这必定是让微博程序员怀疑人生的日子。
下面咱们就来具体看看，这一天到底发生了些什么：
看到这份榜单，咱们仿佛看到了程序员们6月27日的绝望。宋慧乔&宋仲基离婚这个巨型瓜的出现，程序员们还能够用本身的信念支撑着服务器不要崩溃，然而正当程序员们觉得稳操胜券的时候，范冰冰&李晨分手这个更加巨大的瓜出现了，我想程序员们心里必定是这样的：生无可恋。
由于有了这两个巨型瓜的存在，使得“张若昀&唐艺昕”，“马思纯当司仪”，“杜江否定出轨”这种平时可以轻松hold住的瓜也产生了威力加成，进一步压垮程序员，就连平时低调的B站也请来了五月天，真可谓是“瓜团锦簇”的一天。我想“今天究竟是什么日子”这条热搜的创造者颇有可能就是新浪微博的程序员。
第三瓜：2019最勤劳的瓜生产商
前面提到了6月27日是微博程序员最为抓狂的日子，那么又有那些生产商为广大吃瓜群众源源不断地创造吃瓜素材呢，咱们也统计了相关数据，想必这些生产商也是广大程序员们最怕的人：
榜单中易烊千玺以80次的出现次数荣登榜首，也就是说平均每两天他就会为广大群众生产一次“吃瓜素材”，也是很是地勤劳，想到做者一个月一篇原创的节奏，默默留下了悔恨的泪水。周董也在榜单中以78次的数据位居次席，毕竟周董是一代人的青春记忆，你们也都在时刻关注着周董。
或许你们会认为榜单都被娱乐圈所霸占，没啥新意之时，东哥站了出来，成为荣登本榜单的惟一互联网人士，不过我的仍是但愿从此不要在榜单中再看到东哥的身影，毕竟老话说得好“no news is good news”。
第四瓜：那些专属热搜的词语
如同“****，是怎样的体验”这样的知乎体，“震惊！***”这样的UC体，热搜也有一些比较常出现，能表明热搜独特气质的词语，咱们从中选取了一些比较有表明的词语并统计其出现次数：
华为在榜单中出现了86次，也印证了你们在上半年对于华为的关注度，将来也但愿有更多相似于“华为**系统上线”这样振奋人心的消息出如今热搜中。
同时在小编看来否定，道歉，心疼这三个词是很是有特点的热搜词语，毕竟很难在其余的地方会时不时就看“心疼**”这种标题，咱们针对于这三个词语制做了相应的词云：
否定版
208次否定相关话题出如今了热搜榜单，足以说明在这个信息爆炸的时代有太多的事情难以去分辨真假，其中一些内容确实是虚造的，当事人也及时站出来进行否定。不过对于其余的一些事情，想必是“真亦假来假亦真”，须要你们本身去判断
道歉版
强烈建议广大读者收藏上图，特别是在被老板骂或者由于生产Bug而被同事怼的时候拿出来看一下，调节一下本身的心情。想到连菲利普亲王都要道歉，及时认个怂好像也没啥，毕竟你的工资卡里也没剩几个钱
心疼版
最后这个能够说是极具微博特点了，广大吃瓜群众可谓忧国忧民，心疼的对象从韩庚到吴谨言，张雨绮，就连梅西都心疼名单中，这体现出了吃瓜群众乐于助人的正确价值观。
不过我表示仍是要先心疼一下本身，上面那些被心疼的人收入都是小编的上百倍甚至更多，仍是先心疼一下本身的花呗比较现实
除此以外，微博热搜也十分热衷于关心明星是否是哭了以及是否是胖了这种话题，可谓“先天下之忧而忧，后天下之乐而乐”，满满的责任感：
第五瓜：明星婚恋话题到底有多火
此前提到，排名靠前的内容大多都是明星婚恋题材的内容，好比**和**离婚，**和**结婚又离婚，或者**和**结婚又离婚又复婚……咱们就来看一下这些话题出现的次数：
不出所料，广大吃瓜群众对于这类题材都有着很是高的好奇心，为别人的婚恋状况操碎了心，能够说是很努力了，想必将来的**婚恋上市公司的老总必定会在吃瓜群众中诞生，咱们也来具体看看那些相关的话题。
结婚 VS 离婚
恋情VS分手
最后咱们以一句话来结束这部分的吃瓜内容：“贵圈真乱”。
第六瓜：2019热搜中的互联网专属瓜
前面说的那些大多都是娱乐圈的内容，做为互联网从业（banzhuan）人员，对于互联网的专属瓜品也有着强烈兴趣，咱们从中选取了互联网圈为2019热搜所生产的瓜品：
出人意料的是TOP2竟然都和B站有关，通过查证，这两条都发生在最让微博程序员抓狂，瓜团锦簇的6月27日（比较奇怪的是B站十周年应该是6月26日，但上榜时间确是27日），平时八成熟的瓜马上熟透。相信互联网人看到这份榜单，也会回忆起不少上半年发生的事情，2019上半年的互联网也是热闹非凡。
今天的吃瓜之旅就到这里结束了，看来吃瓜也是门学问，微博热搜数据也是一个大的分析宝库，里面还有不少能够继续分析的点，等待你们去挖掘。
做者：徐麟，某互联网公司数据分析狮，我的公众号数据森麟（ID：shujusenlin）
源码和数据地址：
https://pan.baidu.com/s/1q4hOhlomJ-7drwxRLxApBg
提取码: 8qgx
热 文 推 荐
☞从 Python 到 Go 再到 Rust，谁是后端开发之王？
☞垃圾分类很头疼？叫机器人来呀！一分钟 80 件，分分钟给你搞定
☞暗网竟成比特币最大用户? 上半年5.15亿美圆被用于非法活动