目的:cookie
根据输入的城市名,爬取该城市美团美食板块全部商家的数据。数据包括:ide
店名、评分、评论数量、均价、地址
,工具
并将这些数据存入Excel中。学习
最后尝试对爬取到的数据作一个简单的分析。开发工具
爬取每页数据后,随机中止一段时间后再爬下一页;spa
每页使用不一样的cookie值。code
Chrome打开后看了下xhr。。。接口
发现直接有接口能够用。图片
详细的实现过程在我的简介中获取源代码
。ip
Python版本:3.5.4
相关模块:
requests模块;
win_unicode_console模块;
openpyxl模块;
以及一些Python自带的模块。
安装Python并添加到环境变量,pip安装须要的相关模块便可。
使用演示
在cmd窗口运行MT_Cate_Spider.py文件便可。
其实在码字的时候我临时加的这个部分,缘由很简单,我想强调爬虫和数据分析结合的重要性。
利用Excel的数据分析功能简单分析一波吧~~~
用的上海地区的数据。
首先固然是按照评分排个序,而后作成柱状图:
而后是评论数量排个序,作成柱状图:
而后再作点其余有趣的图案:
为了帮助学习Python进步慢的伙伴们,在这里为你们准备了丰富的学习大礼包
OK,That's all!