POI 生成百万行Excel防止OOM

最近用XSSFWorkbook作Excel导出时遇到了一个问题：当数据达到几万行会出现java.lang.OutOfMemoryError: GC overhead limit exceeded错误。

解决办法：

SXSSF（包：org.apache.poi.xssf.streaming）是XSSF的API兼容流式扩展，用于在必须生成很是大的电子表格时使用，而且堆空间有限。SXSSF经过限制对滑动窗口内行的访问来实现其低内存占用，而XSSF容许访问文档中的全部行。再也不在窗口中的旧行变得不可访问，由于它们被写入磁盘。

详细介绍请查看：poi.apache.org/components/…

测试类：

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.time.Duration;
import java.time.LocalDateTime;
import java.util.List;
import java.util.stream.Collectors;
import java.util.stream.IntStream;

/** * SXSSFWorkbook测试 * * @author 王晓安 */
public class SXSSFWorkbookTest {

    private static SXSSFWorkbook getWorkbook(List<String> title, List<? extends List<?>> data) {
        SXSSFWorkbook workbook = new SXSSFWorkbook();
        // 添加一个sheet
        final Sheet sheet = workbook.createSheet();
        // 构建title
        final Row titleRow = sheet.createRow(0);
        for (int i = 0; i < title.size(); i++) {
            final Cell titleRowCell = titleRow.createCell(i);
            titleRowCell.setCellValue(title.get(i));
        }
        // 填充数据
        for (int i = 0; i < data.size(); i++) {
            final Row row = sheet.createRow(i + 1);
            final List<?> dataRow = data.get(i);
            for (int j = 0; j < dataRow.size(); j++) {
                final Cell cell = row.createCell(j);
                final Object value = dataRow.get(j);
                cell.setCellValue(value == null ? "" : String.valueOf(value));
            }
        }
        return workbook;
    }

    public static void main(String[] args) {
        int col = 10;
        int row = 100_0000;
        final List<String> title = IntStream.rangeClosed(1, col)
                .mapToObj(value -> "第" + value + "列")
                .collect(Collectors.toList());

        final List<List<Double>> data = IntStream.range(0, row)
                .mapToObj(value ->
                        IntStream.range(0, col)
                                .mapToObj(ignore -> Math.random())
                                .collect(Collectors.toList())
                )
                .collect(Collectors.toList());

        final LocalDateTime start = LocalDateTime.now();
        final SXSSFWorkbook workbook = getWorkbook(title, data);
        try (OutputStream outputStream = new FileOutputStream("/data/temp/测试.xlsx")) {
            workbook.write(outputStream);
            // 丢弃在磁盘上备份此工做簿的临时文件
            workbook.dispose();
        } catch (IOException e) {
            e.printStackTrace();
        }
        final LocalDateTime end = LocalDateTime.now();
        final Duration duration = Duration.between(start, end);
        System.out.println("生成Excel花费时间：" + duration);
    }
}
复制代码

生成一百万行的Excel时间大约32秒：

生成的Excel大小以下：

算上标题和数据共一百万零一行：