这是平常学python的第18篇原创文章
python
此次用python爬虫爬点好玩的东西git
这两天看刚好有nba决赛，是球迷的你确定不会错过的，更况且今年的西部决赛是火箭对战勇士，今年的火箭是很强的，由于没到关键时候总会有人站出来。固然，勇士也是挺强的，毕竟不能小看库里杜兰特等四大巨头。github
东部的决赛我就不太知道了，一直觉得是凯尔特人会苦战骑士，谁知道缺了两大主力的凯尔特人仍是很强，并且还打了骑士2：0，看来此次的骑士会是凶多吉少了，不知道凯尔特人会不会成功复仇，让咱们拭目以待吧！json
有直播就确定有评论，因此我想爬取下球迷评论，看看他们都在聊什么！微信
准备工做网络
须要用到的库：python爬虫
requests：用于网络请求url
jieba：用于分词
spa
wordcloud：制做词云图
.net
numpy：制做背景图片
词云背景图片：
上面的库都是能够直接用pip进行下载的，可是wordcloud会报错，报错以下：
咱们须要去官网下载whl文件进行手动安装
官网：https://www.lfd.uci.edu/~gohlke/pythonlibs/
而后找到对应本身安装的python版本进行下载
最后在命令行下安装便可
pip install “文件路径+whl文件名”
接下来寻找目标网页
文字直播地址：https://www.zhibo8.cc/zhibo/nba/2018/0517123898.htm?redirect=zhibo
在这个网页经过抓包（按下f12）课知道下面这个连接是返回评论信息，并且是个json
连接为：https://cache.zhibo8.cc/json/2018/nba/0517123898_384.htm?key=0.6512348313080727
经过屡次分析知道上面加粗的是直播间的信息，后面的下划线以后的是评论的页数，最后的key参数是个随机数，带不带上进行请求都没有关系
用代码来获取评论信息
def __get_json(self, index):
url = 'https://cache.zhibo8.cc/json/2018/nba/0517123898_%d.htm?key=0.1355540028791382' % index
response = requests.get(url)
if response.status_code == 200:
for item in response.json():
# 写入文件
self.__write_file(item['content'])
self.num += 1
return 1
else:
return 0
评论信息有了，接着弄张词云图
def __get_wordcloud(self):
with open('comments.txt', 'r', encoding='utf-8') as comments:
text = comments.read() # 加载数据
words = ' '.join(jieba.cut(text, cut_all=True)) # 采用结巴全分词模式
image = np.array(Image.open('1.jpg')) # 背景图片
# 初始化词云
wc = WordCloud(font_path=r'C:\Windows\Fonts\simkai.ttf',
background_color='white', mask=image,
max_font_size=100, max_words=2000)
wc.generate(words) # 生成词云
wc.to_file('img.png') # 生成图片
image_file = Image.open('img.png') # 打开图片
image_file.show()
好了，代码完成，看下效果：
利用词云图一眼就能够看出球迷都在评论什么了，由于我爬取的是火箭主场对战勇士的第二场比赛，确定讨论最多的就是勇士火箭了，紧接的就是杜兰特了，死亡之神，这场的杜兰特超神拿了38分仍是输给了火箭，天然而然就是讨论他最多了。还有就是这场站出来的塔克，三分6中5，还破了我的季后赛的最高得分，讨论他也是很正常的事。还有一个很显眼的就是第三节，不少人都认为勇士是“勇三疯”，觉得这场比赛勇士会在第三节爆发吧？其实这赛季的火箭第三节也是很强的，并不比勇士弱。
完整代码已经上传到个人github上了，若是须要的话能够自行查看，若是以为程序不错的话但愿能够给个star哈！
github：https://github.com/SergioJune/gongzhonghao_code
写在最后
若是这篇文章对你用的话，但愿不要吝啬你的点赞哈！点赞和转发就是对个人最大支持，这样才有动力输出质量高的原创文章。
「球迷的话点个赞？我看看有多少个是球迷」
推荐文章：
使用requests+BeautifulSoup的简单爬虫练习
平常学python
代码不止bug，还有美和乐趣
本文分享自微信公众号 - 平常学python（daily_learn）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。