Hive 中 Map Join 的适用场景：非等值链接

最近开发中遇到几种应用，恰好使用MAPJOIN来解决实际的问题。

应用共同点以下：

1: 有一个极小的表<1000行

2: 须要作不等值join操做（a.x < b.y 或者 a.x like b.y等）

这种操做若是直接使用join的话语法不支持不等于操做，hive语法解析会直接抛出错误

若是把不等于写到where里会形成笛卡尔积，数据异常增大，速度会很慢。甚至会任务没法跑成功~

根据mapjoin的计算原理，MAPJION会把小表所有读入内存中，在map阶段直接拿另一个表的数据和内存中表数据作匹配。这种状况下即便笛卡尔积也不会对任务运行速度形成太大的效率影响。

并且hive的where条件自己就是在map阶段进行的操做，因此在where里写入不等值比对的话，也不会形成额外负担。

如此看来，使用MAPJOIN开发的程序仅仅使用map一个过程就能够完成不等值join操做，效率还会有很大的提高。

问题解决~~

示例代码以下：

1: select /*+ MAPJOIN(a) */
 2: a.start_level, b.*
 3: from dim_level a
 4: join (select * from test) b
 5: where b.xx>=a.start_level and b.xx<end_level;

from: http://blog.linezing.com/2011/06/hive%E4%B8%ADmapjoin%E5%8F%AF%E4%BB%A5%E4%BD%BF%E7%94%A8%E7%9A%84%E5%9C%BA%E6%99%AF%E5%88%86%E6%9E%90

推荐阅读：

Hive 随谈（四）– Hive QL

http://www.alidata.org/archives/581

hive使用经验

http://www.docin.com/p-150084947.html