分布式轻量级批量任务框架设计思想

批量任务在不同的公司都在使用,如每天定时生成订单、处理特定的任务等等,当数据量一大的时候,批量任务就会变得执行非常慢,有的要跑几个小时,甚至更久,如何来提高批量任务执行的速度呢?方法有多线程+分片,这两种结合起来执行速度是非常快的,单纯使用多线程也会提高处理速度(一般的批量任务偏IO密集型,用多线程会提高处理速度)。 有多个批量处理框架,如Quartz、Spring-batch、Tbschedul
相关文章
相关标签/搜索