大数据hive面试题

1)Hive数据倾斜问题: 倾斜缘由: map输出数据按Key Hash分配到reduce中,因为key分布不均匀、或者业务数据自己的特色。】【等缘由形成的reduce上的数据量差别过大。 1.1)key分布不均匀 1.2)业务数据自己的特性 1.3)SQL语句形成数据倾斜 解决方案: 1>参数调节:     hive.map.aggr=true     hive.groupby.skewinda
相关文章
相关标签/搜索