【秋招】携程_数据分析岗_面试题整理

1. spark用过吗？那你以为和MR这两个计算框架中间产生的数据倾斜怎么处理html     1）数据倾斜指的是key的分布严重不均，如wordCount中，有80%的数据都是（'aaa'，1），这样大部分数据交给一个reduce，剩下的20%数据分散到不一样的reduce处理算法     2）形成数据倾斜的缘由：网络         a. group by维度小，某值数量多app      

>>阅读原文<<