hibernate 批量插入数据

如题，有两种方法

1）使用FLUSH

2）使用JDBC

 

分别来解释：

1）hibernate在进行数据库操做的时候，都要有事务支持的。可能你曾遇到过，没有加事务，程序会报错的状况。

    而事务每次提交的时候，都会和数据库交互，即让数据库执行SQL语句。

     在说到hibernate中的save() 或者saveOrUpdate()方法，其实，它们都是利用hibernate的一级缓存，在事务没有提交的时候，全部对象，并无写入数据库。而是保存在内存中。在事务提交的时候，hibernate会把这些对象持久化到数据库中。另外一方面，hibernate提供了一个显式的API来强制写数据库。就是FLUSH。当程序执行session.flush()，就会持久化数据，而没必要等到事务提交时才执行。

     本人写了一个DEMO，一个线程产生USER，一个保存USER。

生产者代码以下：

package com.baidu.test;

import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

import com.baidu.model.User;

public class test extends Thread {

    public static int count = 0;
    public static List<User> userlist = Collections.synchronizedList(new ArrayList()); 
    public User user;

    public static void main(String[] args) {

        new test().start();
        new HandleThread().start();
    }
    public static int usercount=0;
    @Override
    public void run() {
        while (true) {
            try {
                Thread.sleep(2000);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            User t = new User();
            t.setId(usercount);
            t.setUsername("name_" + usercount);
            userlist.add(t);
            System.out.println("生产出一个user_"+usercount);
            usercount++;
        }
    }

}

消费者代码以下：

package com.baidu.test;

import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;

import com.baidu.model.User;

public class HandleThread extends Thread {
    @Override
    public void run() {
        boolean flag=false;
        Configuration config = new Configuration();
        config.configure();
        SessionFactory factory = config.buildSessionFactory();
        Session session = factory.openSession();
        while (true) {
            if (test.userlist.size() > 0) {
                for (int i = 0; i < test.userlist.size(); i++) {
                    System.out.println("处理了"
                            + test.userlist.get(i).getId());
                    insert(test.userlist.get(i),session);
                }
                test.userlist.clear();
            }
            try {
                Thread.sleep(3000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            if(flag)
                break;
        }
        session.close();
    }

    public void insert(User user,Session session) {
    
        Transaction tran = session.beginTransaction();
        session.save(user);
        if (test.count++ % 10 == 0) {
            System.out.println(test.count);
            session.flush();
            session.clear();
        }
        tran.commit();
        
    }

}

        if (test.count++ % 10 == 0) { System.out.println(test.count); session.flush(); session.clear(); }这段代码就是执行批量操做的核心。固然这个须要在hibernate配置文件中配置下 <property name="hibernate.jdbc.batch_size">10</property>这个值，从网上获得的说法是一次推送SQL语句的条数。暂且相信了，后续我将验证（经过抓包）。至此，第一种批量处理已经完成。2） to be continue...Hibernate批量处理其实从性能上考虑，它是很不可取的，浪费了很大的内存。从它的机制上讲，Hibernate它是先把符合条件的数据查出来，放到内存当中，而后再进行操做。实际使用下来性能很是不理想,在笔者的实际 使用中采用下面的第三种优化方案的数据是:100000条数据插入数据库,主流台式机的配置,须要约30分钟,呵呵,晕倒. 总结下来有三种来处理以解决性能问题： 1：绕过Hibernate API ，直接经过 JDBC API 来作，这个方法性能上是比较好的。也是最快的. 2：运用存储过程。 3：仍是用Hibernate API 来进行常规的批量处理，能够也有变，变就变在，咱们能够在查找出必定的量的时候，及时的将这些数据作完操做就 删掉，session.flush();session.evict(XX对象集); 这样也能够挽救一点性能损失。这个“必定的量”要就要根据实际状况作定量参考了。通常为30-60左右,但效果仍然不理想. 1：绕过Hibernate API ，直接经过 JDBC API 来作，这个方法性能上是比较好的，也是最快的。(实例为 更新操做) Transaction tx=session.beginTransaction(); //注意用的是hibernate事务处理边界 Connection conn=session.connection(); PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary+1 where c.sarlary>1000"); stmt.excuteUpdate(); tx.commit(); //注意用的是hibernate事务处理边界 这小程序中，采用的是直接调用JDBC 的API 来访问数据库，效率很高。避免了Hibernate 先查询出来加载到内存，再进行操做引起的性能问题 。 2：运用存储过程。但这种方式考虑到易植和程序部署的方便性,不建议使用.(实例为 更新操做) 若是底层数据库（如Oracle）支持存储过程，也能够经过存储过程来执行批量更新。存储过程直接在数据库中运行，速度更加快。在Oracle数 据库中能够定义一个名为batchUpdateCustomer()的存储过程，代码以下： 代码内容 create or replace procedure batchUpdateCustomer(p_age in number) as begin update CUSTOMERS set AGE=AGE+1 where AGE>p_age; end;  以上存储过程有一个参数p_age，表明客户的年龄，应用程序可按照如下方式调用存储过程： 代码内容 tx = session.beginTransaction(); Connection con=session.connection(); String procedure = "{call batchUpdateCustomer(?) }"; CallableStatement cstmt = con.prepareCall(procedure); cstmt.setInt(1,0); //把年龄参数设为0 cstmt.executeUpdate(); tx.commit();  从上面程序看出，应用程序也必须绕过Hibernate API，直接经过JDBC API来调用存储过程。 3：仍是用Hibernate API 来进行常规的批量处理，能够也有变，变就变在，咱们能够在查找出必定的量的时候，及时的将这些数据作完操做就 删掉，session.flush();session.evict(XX对象集); 这样也能够挽救一点性能损失。这个“必定的量”要就要根据实际状况作定量参考了。。 (实例为 保存操做) 业务逻辑为：咱们要想数据库插入10 0000 条数据 tx=session.beginTransaction(); for(int i=0;i<100000;i++) { Customer custom=new Customer(); custom.setName("user"+i); session.save(custom); if(i%50==0) // 以每50个数据做为一个处理单元，也就是我上面说的“必定的量”，这个量是要酌情考虑的 { session.flush(); session.clear(); } } 这样能够把系统维持在一个稳定的范围....