我爬取了37000条球迷评论,知道了这场比赛的重要信息

这是平常学python的第18篇原创文章
python

此次用python爬虫爬点好玩的东西git

这两天看刚好有nba决赛,是球迷的你确定不会错过的,更况且今年的西部决赛是火箭对战勇士,今年的火箭是很强的,由于没到关键时候总会有人站出来。固然,勇士也是挺强的,毕竟不能小看库里杜兰特等四大巨头。github

东部的决赛我就不太知道了,一直觉得是凯尔特人会苦战骑士,谁知道缺了两大主力的凯尔特人仍是很强,并且还打了骑士2:0,看来此次的骑士会是凶多吉少了,不知道凯尔特人会不会成功复仇,让咱们拭目以待吧!json

有直播就确定有评论,因此我想爬取下球迷评论,看看他们都在聊什么!网络

准备工做python爬虫

须要用到的库:url

    requests:用于网络请求spa

    jieba:用于分词
命令行

    wordcloud:制做词云图
3d

    numpy:制做背景图片

词云背景图片:

上面的库都是能够直接用pip进行下载的,可是wordcloud会报错,报错以下:

咱们须要去官网下载whl文件进行手动安装

官网:https://www.lfd.uci.edu/~gohlke/pythonlibs/

而后找到对应本身安装的python版本进行下载

最后在命令行下安装便可

pip install “文件路径+whl文件名”

接下来寻找目标网页

文字直播地址:https://www.zhibo8.cc/zhibo/nba/2018/0517123898.htm?redirect=zhibo

在这个网页经过抓包(按下f12)课知道下面这个连接是返回评论信息,并且是个json

连接为:https://cache.zhibo8.cc/json/2018/nba/0517123898_384.htm?key=0.6512348313080727

经过屡次分析知道上面加粗的是直播间的信息,后面的下划线以后的是评论的页数,最后的key参数是个随机数,带不带上进行请求都没有关系

用代码来获取评论信息

def __get_json(self, index):
       url = 'https://cache.zhibo8.cc/json/2018/nba/0517123898_%d.htm?key=0.1355540028791382' % index
       response = requests.get(url)
       if response.status_code == 200:
           for item in response.json():
               # 写入文件
               self.__write_file(item['content'])
               self.num += 1
           return 1
       else:
           return 0复制代码

评论信息有了,接着弄张词云图

def __get_wordcloud(self):
       with open('comments.txt''r', encoding='utf-8'as comments:
           text = comments.read()  # 加载数据
           words = ' '.join(jieba.cut(text, cut_all=True))  # 采用结巴全分词模式
           image = np.array(Image.open('1.jpg'))  # 背景图片
           # 初始化词云
           wc = WordCloud(font_path=r'C:\Windows\Fonts\simkai.ttf',
                          background_color='white', mask=image,
                          max_font_size=100, max_words=2000)
           wc.generate(words)  # 生成词云
           wc.to_file('img.png')  # 生成图片
           image_file = Image.open('img.png')  # 打开图片
           image_file.show()复制代码

好了,代码完成,看下效果:

利用词云图一眼就能够看出球迷都在评论什么了,由于我爬取的是火箭主场对战勇士的第二场比赛,确定讨论最多的就是勇士火箭了,紧接的就是杜兰特了,死亡之神,这场的杜兰特超神拿了38分仍是输给了火箭,天然而然就是讨论他最多了。还有就是这场站出来的塔克,三分6中5,还破了我的季后赛的最高得分,讨论他也是很正常的事。还有一个很显眼的就是第三节,不少人都认为勇士是“勇三疯”,觉得这场比赛勇士会在第三节爆发吧?其实这赛季的火箭第三节也是很强的,并不比勇士弱。

完整代码已经上传到个人github上了,若是须要的话能够自行查看,若是以为程序不错的话但愿能够给个star哈!

github:https://github.com/SergioJune/gongzhonghao_code

写在最后

若是这篇文章对你用的话,但愿不要吝啬你的点赞哈!点赞和转发就是对个人最大支持,这样才有动力输出质量高的原创文章。

「球迷的话点个赞?我看看有多少个是球迷」

推荐文章:

使用requests+BeautifulSoup的简单爬虫练习

python爬虫经常使用库之requests详解

平常学python

代码不止bug,还有美和乐趣

相关文章
相关标签/搜索