Hive运行原理--JOIN

对于 JOIN 操做：

INSERT OVERWRITE TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

实现过程为：

• Map：
• 以 JOIN ON 条件中的列做为 Key，若是有多个列，则 Key 是这些列的组合
• 以 JOIN 以后所关心的列做为 Value，当有多个列时，Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息，用于标明此 Value 对应于哪一个表。
• 按照 Key 进行排序。
• Shuffle：
• 根据 Key 的值进行 Hash，并将 Key/Value 对按照 Hash 值推至不一样对 Reduce 中。
• Reduce：
• Reducer 根据 Key 值进行 Join 操做，而且经过 Tag 来识别不一样的表中的数据。

具体实现过程如图：