数据倾斜面试题知识点总结

公司一:总用户量1000万,5台64G内存的服务器。 公司二:总用户量10亿,1000台64G内存的服务器。 1.公司一的数据分析师在做join的时候发生了数据倾斜,会导致有几百万用户的相关数据集中到了一台服务器上,几百万的用户数据,说大也不大,正常字段量的数据的话64G还是能轻松处理掉的。 2.公司二的数据分析师在做join的时候也发生了数据倾斜,可能会有1个亿的用户相关数据集中到了一台机器上了
相关文章
相关标签/搜索