使用关系型数据库分块处理几亿几十亿条数据

分块计算是将数据按一定的规则切割成若干份，然后分别计算，再将结果合并汇总得到最终结果。   经常统计时会涉及到一次要对几千万甚至几十亿的数据进行聚合计算 ( 或表关联 ) ，因为硬件本身的限制（特别是没有足够大的内存和临时表空间），往往显得无能为力。这时如果不人为去将数据进行分割计算（或关联），系统将会陷入异常缓慢的计算过程甚至因临时表空间不足而崩溃。   分块计算最重要的是找到一个字段作为分割数

>>阅读原文<<