做业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339node
1.将爬虫大做业产生的csv文件上传到HDFS
这次做业选取的是爬虫《人性的弱点全集》短评数据生成的cm.csv文件；爬取的数据总数为10991条。数据库
cm.csv文件数据以下图所示：oop
将cm.csv文件上存到HDFSurl
2.对CSV文件进行预处理生成无标题文本文件
csv文件数据预处理，删除第一行字段名称spa
编辑pre_deal.sh文件进行数据的取舍处理.net
让pre_deal.sh文件生效，并显示前面几条数据3d
3.把hdfs中的文本文件最终导入到数据仓库Hive中
在hive中建立bdlab数据库，显示以下：blog
由于这次使用的是bdlab的数据库，因此在bdlab中建立相应的表为bigdata_cmdget
4.在Hive中查看并分析数据
数据分析：图上显示，该爬取的数据属性主要包括评价的日期、评价的内容、用户名称和星级（一些无关分析的属性在进行数据预处理的时候已经去除，剩下的是有关数据分析的属性）。以上显示的数据能够看到一些读者对《人性的弱点全集》这本书的一些好的坏的态度。如下利用Hive进行更进一步的数据分析。cmd
5.用Hive对爬虫大做业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）
（1）查询前20条用户的星级评价
分析：上图所示的查询内容显示，评星三星以上的占较大的一部分；四星、五星的总占比约占一半（五星为满星），这说明读者们对于《人性的弱点全集》这本书的评价仍是算中上等水平的，这也从侧面反映出该书是一本不错的书。
（2）查询读者给该书一星评星的短评
分析：上图所示的查询内容显示，读者们给该书评一星的缘由是读者们认为这本书一味的励志，一味的给读者灌输一些通俗易懂却光说不练的道理，过于的心灵鸡汤。这是读者们反感它的地方以及给出一星评价的缘由。
（3）查询读者给该书三星（即中评，不喜不厌的态度）评星的短评
分析：上图所示的查询内容显示，读者们认为该书的内容是有用的，对于人的成长也是有必定的帮助的，可是对于书本推销式的表达方式读者仍是略显反感；整本书读下来也略显枯燥。这些都是读者们评三星的不喜不厌的缘由。
（4）查询读者给该书五星评星的短评
分析：上图所示的查询内容显示，读者们给该书评五星的缘由是读者们认为这是一本不错的书，也很是的经典，能给人深省和能读懂一些道理会让读者有一些感触，是值得一看的经典之书。因此读者买帐的地方可能就是该书能给读者带来一些感触检讨和一些道理。
（5）查询读者高评星与低评星数量（高低评星以三星为界限）
分析：上图所示查询内容显示，高评星（4星、5星）的数量为8360条，低评星（1星、2星）的数量为722条。从数量上比较能够知道读者对于《人性的弱点全集》这本书大致是持好的敏感度的，大多的读者认为这是一本好书，整体的评价也是好的趋向的。
（6）查询评五星的用户名
（7）查询cm.csv文件数据中用户名不重复的数据量
分析：上图所示查询内容显示，用户名不重复评论的数据为4958条，差很少占数据量的一半，说明爬取的数据中因用户名重复的数据仍是较多的，也说明的是同一个用户有过屡次评论的可能，衍生的一个多是同一个用户名的用户不一样时间屡次阅读该书从而发表的不一样的评价；若是是这个可能同一个用户评论的内容也仍是拥有参考价值的，可是仍是要注意过多的数据重复。
（8）查询cm.csv文件数据中评论不重复的数据量
分析：上图所示查询内容显示，评论内容不重复的数据为5627条，占爬取总数据的一半往上。说明有5627条读者评论数据不存在重复，可用性的数据量仍是较大的；较大的可用性数据量在作数据分析的时候是可以更准确的把握读者的对该书的态度和整体的评价的，因此这次的可用性数据和这次的数据分析是有必定的意义和参考价值的。
（9）查询读者给该高评价的短评
分析：上图所示查询内容显示，让人受益不浅、启发、励志、实用和值得深思等是读者给该书高评价的缘由，这些都是读者买该书帐的地方。一个繁杂的社会、一个谁都不容易的社会氛围须要一些正面的东西来给人们一些前进的力量，读者可能能够在书中找到心里共鸣的地方因此喜欢这本书也因此给该书高的评价。
（10）查询三星评价数量
分析：上图所示查询内容显示，三星评价的数据量为1806条，约占总数据量的10%，比例不大；这也说明有将近一成的读者对于《人性的弱点全集》这本书不感冒。
（11）查询五星评价处于表格的序号
以上为这次Hadoop综合大做业的全部内容。从Ubuntu到MySQL到Hadoop到hbase到hive再到整个Hadoop整个环境的配置完成，这一路下来都是为最后的这个综合做业作准备。这期间，遇到过这个系统环境安装配置好到进不去hive，遇到过输入法的输入出错，遇到过格式化丢失Datanode等一系列的问题；这个过程必须是细心谨慎的，要不就是一步错后面就会卡死没法进行下去。学了几回这些内容，此次是比较有条理的一次。