大数据量快速处理的架构设计

       在业务数据的处理过程当中，常常会遇到夜间批次处理大量的数据，并且会有时效的要求，这就对程序执行的性能有了较高要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操做了，数据量达到百万甚至上亿。 这时回顾前期的设计，就可能会发现好多问题。 多是因为数据模型设计的时候没有考虑表的分区和及时归档，形成大表处理慢； 也多是涉及到的sql的设计没有考虑走索引，或有隐式转换、全表扫描、笛

>>阅读原文<<