网络数据分析和可视化

##1 项目描述##

以豆瓣电影上提供的电影数据为例，完整地展现网络数据从获取、处理到分析、可视化这一过程，纯当练手，也为感兴趣的小伙伴提供相关的技术介绍。项目代码托管在Github上，可视化网站请访问这里。

##2 数据获取##

用python写爬虫，Scrapy和urllib2都是比较好的选择，因为我对功能的要求比较简单，故选择后者便可。

在豆瓣电影上经过Chrome开发工具找到数据请求API，接下来就能够写代码爬一些电影数据了，我使用的是这两个API：

1. http://movie.douban.com/j/search_tags?type=movie
2. http://movie.douban.com/j/search_subjects?type=movie&tag=爱情&page_limit=20&page_start=0

第一个API是获取全部电影的分类即tag，第二个是请求某个tag下偏移为page_start的page_limit条电影数据，包括电影的标题、url、评分等信息。

有了电影的url，再次爬取该页面对应的html内容， 而后用Beautiful Soup解析出想要的字段就行了。最终一共获取了4587条电影记录，每条记录包含如下15个字段：电影ID、标题、连接、缩略图、评分、导演、编剧、演员、分类、上映国家、语言、上映时间、时长、别名和简介。

##3 数据清洗##

这一步主要是为了提升数据质量和配合后续的工做，对获取的数据进行一些清洗和预处理工做。好比将字段里多余的空白去掉、将上映时间仅保留年份、将时长处理为以分钟为单位的整数等，下图是同一条电影数据在清洗先后的对比。

##4 数据分析##

最基本的分析包括一些统计量的计算，说白了就是固定或以某一个字段分类，对另外一个字段进行求和或求平均。个人主要分析字段是电影数量和平均评分，看它们和电影分类、语言、上映国家、上映时间、时长等其余字段之间有何关联。

##5 数据可视化##

俗话说，“一图胜千言”，因此数据分析的结果以可视化网站的形式给出。我用Flask搭建了一个简单的网站，用Echarts绘制了一些简单的图标来展现分析的结果，可视化网站请访问这里。

网站包含三个子菜单：统计、评分、搜索。“统计”展现了和电影数量相关的分析结果，“评分”展现了和电影评分相关的分析结果，“搜索”则提供了一个简单的基于关键词匹配的搜索功能。它们看起来大概是这个样子：

##6 总结##

此次开发任务主要出于我的兴趣，顺便抛砖引玉地和你们介绍一些基本的方法和技术。网络上能够获取的数据不可胜数，只要脑洞开得够大，在数据源、分析技术、可视化方法上进一步提高，就必定能够创造出更有意义和价值的成果。