从 MapReduce 到 Hive —— 一次迁移过程小记

一、背景介绍 早先的工做中,有不少比较复杂的分析工做,当时对hive还不熟悉,可是java比较熟悉,因此在进行处理的时候,优先选择了MR. 可是随着工做的数据内容愈来愈多,愈来愈复杂,对应的调整也愈来愈多,愈来愈复杂.纯使用MR方式整个流程就比较复杂,若是须要修改某个部分,那首先须要修改代码中的逻辑,而后把代码打包上传到某个可访问路径上(通常就是hdfs),而后在调度平台内执行.若是改动较大的状况

>>阅读原文<<