jdbc一次性采集mysql和oracle的海量数据,5000W+为例

时间 2019-11-09

标签 jdbc 一次性采集 mysql oracle 海量数据 5000w 为例栏目 Java 繁體版

原文原文链接

最近作的采集工具遇到采集一天数据(超过5000W行数据)的状况,java

采集mysql的时候直接采用流式读取的方式能够一次所有都读取出来,速度的话取决于网络速度mysql

stmt = conn.createStatement();
stmt.setFetchSize(Integer.MIN_VALUE);//设置这句话就能够了,网上不少人说还要在createStatement里面加两个参数其实没有必要  http://codepub.cn/2017/05/12/MySQL-pull-the-massive-data-out-of-memory-error/

rs=stmt.executeQuery();

在oracle中一样方式sql