内存溢出问题的解决方案

在大数据开发测试时，可以通过分区或分桶采样的方式。 分区针对的是固定日期，而分桶采样则侧重随机，更具有代表性。由于第一次是全量抽取数据，所以日期分区下的数据非常庞大，此时使用分桶来进行采样测试可以大幅提升效率。 在select之前可以添加Explain，先来查看查询执行计划（不是实际运行mapreduce)，可以看到分桶采样已经生效，提高了开发和测试效率。 执行select语句进行抽样时发现报错（

>>阅读原文<<