Java POI读取大文件慢如何优化？

java的高效处理 poi阅读大文件难题

使用java poi处理大型excel文件时，往往会遇到阅读速度慢的问题，严重影响程序性能。本文将针对“java poi打开大文件的慢优化方法？”这个问题讨论了几个可行的解决方案，以帮助开发者提高程序效率。

问题在于java poi 默认情况下，将整个excel文件加载到内存中。对于大型文件，会导致内存占用过高，甚至出现outofmemoryeror，大大降低阅读速度。 因此，有必要采取优化策略来解决这个问题。

有两种方法可以有效地提高阅读大文件的效率：

方案1:使用xlsx-streamer实现分段读取

立即学习“Java免费学习笔记(深入)；

xlsx-streamer是一个基于poi的库，它通过分段缓存加载数据，以避免一次将整个文件加载到内存中。通过streamingreader，可以创建一个缓冲区，批量阅读文件内容。 这使得程序能够处理远大于内存容量的大型excel文件。

xlsx-streamer的依赖性首先需要引入：

<!-- excel工具 -->
<dependency>
    <groupid>org.apache.poi</groupid>
    <artifactid>poi-ooxml</artifactid>
    <version>${poi.version}</version>
</dependency>
<!-- 在阅读大量excel数据时使用它 -->
<dependency>
    <groupid>com.monitorjbl</groupid>
    <artifactid>xlsx-streamer</artifactid>
    <version>2.1.0</version>
</dependency>

以下是使用xlsx-streamer读取大型excel文件的示例代码：

    public static void readlagerexcel(file file) throws exception {
        inputstream inputstream = new fileinputstream(file);
        long start = system.currenttimemillis();
        try (workbook workbook = streamingreader.builder()
                .rowcachesize(10 * 10)  ///缓存到内存中的行数，默认是10
                .buffersize(1024 * 4)  ///读取资源时，缓存到内存的字节大小，默认为1024
                .open(inputstream)) { ///打开资源，可以是inputstream或file。注意:只能打开.xlsx格式文件

            sheet sheet = workbook.getsheetat(0);
            log.info("==读完excel，耗时：{}毫秒，", system.currenttimemillis() - start);
            ///遍历所有行
            for (row row : sheet) {
                system.out.println("开始遍历第" + row.getrownum() + "行数据：");
                ///遍历所有列
                for (cell cell : row) {
                    system.out.print(cell.getstringcellvalue() + " ");
                }
                system.out.println(" ");
            }
            //总数
            system.out.println("读取结束行数：" + sheet.getlastrownum());
        }
    }

用这种方法处理40万级数据大约需要5.4秒。

方案二:优化easyexcel

easyexcel是阿里巴巴基于poi开源的excel处理工具。它包装和优化poi，可以有效解决读取大文件时内存溢出的问题。 easyexcel 它提供了更有效的阅读和写入方法，特别适合处理大量数据。

easyexcel的依赖需要引入:

<!-- easyexcel 大数据量excel读写 -->
<dependency>
    <groupid>com.alibaba</groupid>
    <artifactid>easyexcel</artifactid>
    <version>3.1.0</version>
</dependency>

以下是一个简单的easyexcel读取示例：

  public static void readExcelByEasyExcel(File file) {
      long start = System.currentTimeMillis();
      List<ExcelData> excelDataList = EasyExcel.read(file).head(ExcelData.class).sheet(0).doReadSync();
      excelDataList.stream().forEach(x -> System.out.println(x.toString()));
      log.info("==读完excel，耗时：{}毫秒，", System.currentTimeMillis() - start);
  }

这两种方案都能有效改进java poi处理大文件的效率取决于具体的应用场景和需求。

以上是Java 如何慢慢优化POI阅读大文件？详情请关注图灵教育的其他相关文章！