jdbc批量插入实现大批量数据快速插入

    今天在作一个将excel数据导入数据库的程序时，因为数据量大，准备采用jdbc的批量插入。因而用了preparedStatement.addBatch();当加入1w条数据时，再执行插入操做，preparedStatement.executeBatch()。我原觉得这样会很快，结果插入65536条数据一共花30多分钟，彻底出乎个人意料。因而问了一下同事，他们在处理这种大批量数据导入的时候是如何处理的，发现他们也是用的jdbc批量插入处理，但与我不一样是：他们使用了con.setAutoCommit(false);而后再preparedStatement.executeBatch()以后，再执行con.commit();因而再试，什么叫奇迹？就是刚刚导入这些数据花了半小时，而加了这两句话以后，如今只用了15秒钟就完成了。因而去查查了缘由，在网上发现了以下一段说明：

    * When importing data into InnoDB, make sure that MySQL does not have autocommit mode enabled because that

      requires a log flush to disk for every insert. To disable autocommit during your import operation, surround it with

      SET autocommit and COMMIT statements:

      SET autocommit=0;
     ... SQL import statements ...
     COMMIT;

    第一次，正是由于没有setAutoCommit(false)；那么对于每一条insert语句，都会产生一条log写入磁盘，因此虽然设置了批量插入，但其效果就像单条插入同样，致使插入速度十分缓慢。

    部分代码以下：

String sql = "insert into table *****";
con.setAutoCommit(false);
ps = con.prepareStatement(sql);
for(int i=1; i<65536; i++){
    ps.addBatch();
    // 1w条记录插入一次
    if (i % 10000 == 0){
         ps.executeBatch();
         con.commit();
     }
}
// 最后插入不足1w条的数据
ps.executeBatch();
con.commit();