当前位置: 首页 > 知识库问答 >
问题:

读取一个大的Excel文件并添加更多行[关闭]

邢高爽
2023-03-14

我需要读取大约500000条记录的Excel(xlsx)并每天添加大约2000条记录,我设法使用NPOI来完成,但内存消耗非常大(约8gb)。

我只能读取excel,使用ExcelDataReader消耗很少的内存,但是不可能添加更多的记录。

有什么工具可以写入这个不消耗大量内存的文件吗?

共有1个答案

颜新
2023-03-14

我建议您看看NuGet的ClosedXML。我使用这个包来管理一个相当大的文件,但它大约有100.000行*30列。

如果可能,尝试将数据从Excel移动到Access,以加快操作速度;您始终可以在Access文件中插入数据,并将其链接到Excel文件,该文件将在每次打开/请求时更新。

 类似资料:
  • 我是java的初学者,我正在尝试做一个小的java程序,读取一个excel文件,并在文件末尾添加一个新行来更新文件。然后再次读取并使用新行ecc,ecc进行更新。 这是我读取的文件(boh.xls): 点击这里查看图片 当他转到“workbook.write()”时,它会向我抛出这个错误: 有什么建议吗?谢谢你们!

  • 问题内容: 我有一个大文件,需要阅读并制作字典。我希望尽快。但是我在python中的代码太慢了。这是显示问题的最小示例。 首先制作一些假数据 现在,这里是一个最小的python代码片段,可以读入它并制作一个字典。 时间: 但是,可以更快地读取整个文件,如下所示: 我的CPU有8个核心,是否可以在python中并行化此程序以加快速度? 一种可能是读取大块输入,然后在不同的非重叠子块上并行运行8个进程

  • 我可以使用Apache POI只读取Excel文件的第一行吗?我不想读取整个文件,因为它有50,000行,读取最多需要10分钟(性能是一场灾难)。我通过文件上传获取字节。我的选项是字节数组或InputStream。现在我正在这样做:

  • 我正在尝试读取一个大的XLSX文件。Excel文件大约有500k行,我需要读col 2。 它一直打印到第39723行,然后抛出以下异常 main.java:484=If(!cell.getStringCellValue().ToString().trim().IsEmpty())如果我删除该行并只打印行号,就可以正常工作。我需要帮助如何获得col2的字符串值。

  • 我在用图书馆 我在努力 库,但无法将其转换为工作簿 注意:在最终结果中,我希望返回XSSFWorkbook 上面的代码会内存溢出,任何帮助都将提前感谢

  • 我想逐行读取一个文件,但不完全加载到内存中。 我的文件太大,无法在内存中打开,如果尝试这样做,我总是会出现内存错误。 文件大小为1 GB。