[spark 面试]数据倾斜

一.首先明白招聘中“拥有大型项目/海量数据处理经验的意思”?     这个实质的意思不是你开发出大型项目和海量数据进行了处理的;它表达的意思是你是否有再大型项目/海量数据中的调优经验,而这种调优经验又必须再理解和阅读大量源码的基础上才能实现的。所以这句话转化的意思就是你是否有阅读源码和性能调优的经验。 二.大数据中最关键的调优经验是什么?     数据倾斜,这是大数据处理专家的一个共识,因为他是最
相关文章
相关标签/搜索