java 业务层和多线程遇到的坑

需求 把某个网站上或者别的数据库里导出的文件全部导入到自己的数据库里 数据文件和格式已经给出了，不需要关心从哪来，只需要读取到数据库里就行，不能出错，不能时间太长。   大致实现 个人思路是先对数据进行分片，按照一定规则（数据数量）进行切分，然后多个线程同时读取往数据库里写，同时彼此控制事务。   遇到的问题 数据量少100万以内时没有遇到问题，数据量大的时候分片量大线程数也大。 线程达到了8个，

>>阅读原文<<