数据刷新中的并行改进(二) (r5笔记第76天)

在之前的博文中分享了数据刷新中的并行改进建议，但是对于方案的落地还是有很多的细节需要实现。首先是关于很多的表怎么把它们合理的进行并行切分。根据实际的情况，因为这些数据字典表都相对数据量都不大，所以存在的分区表很少，所以可以考虑按照segment的大小来作为并行切分的基准。所以在分布式环境中，在进行了并行切分之后，数据的刷新速度也是会有差异的。为了尽量减少同一个数据源的刷新瓶颈，所以还是考虑在每个节

>>阅读原文<<