jdbc查询大数据,上亿数据 不会内存溢出(参考solr源码封装)

目标 最近公司要求作一个web版ETL工具,须要一次性查询出来任意一张表的全部的数据,有一张表到达了1亿两千万,全部通过探索采用了如下的方案java 先说一下内存溢出的缘由 jdbc查询mysql时,默认会一次性将sql查询的数据所有从服务器加载到内存中,当数据过多时,致使内存溢出 解决方式 1.设置每次从服务器加载到内存的条数 statement.setFetchSize(batchSize);
相关文章
相关标签/搜索