hive实现50w词频统计与ctrip数据集销售额计算

用hive对50万条记录（数据文件demo50w.utf8）进行词频统计，数据清洗转换自行处理，并列出词频最高的20个词。 首先准备好要统计单词的文件，并上传到hdfs上，登录hive，先创建一个表，这个表中只有一列数据，类型为string，用来存放统计单词的文件，把文件内容作为一个字符串存储。然后创建存放单词及计数结果的表，这个表的内容来自select嵌套查询。使用正则表达式进行匹配，从文件中筛

>>阅读原文<<