如何使用SXSF Apache POI将列添加到现有的大型excel文件？

Question

我正在处理一个大的excel文件（大于40MB，超过100k行和50列）。我正在使用POI（3.10.1版本）事件流成功地读取它，然后进行一些计算并将结果存储到列表中。

现在我必须将这个列表作为一列附加到同一个文件中。在这一部分中，我面临着一个问题。

我试图通过使用以下代码来实现这一点

FileInputStream excelFile = new FileInputStream(new File(pathToFile));
Workbook workbook = new XSSFWorkbook(excelFile);
Sheet datatypeSheet = workbook.getSheetAt(0); // Get first sheet
Iterator<Row> iterator = datatypeSheet.iterator();

int i=0;
while (iterator.hasNext()) {  // Loop over each row
    Row currentRow = iterator.next();
    Cell cell = currentRow.createCell(currentRow.getLastCellNum());
    cell.setCellType(Cell.CELL_TYPE_STRING);
    if(currentRow.getRowNum() == 0)
        cell.setCellValue("OUTPUT-COLUMN"); // set column header for the new column
    else {
        cell.setCellValue(list.get(i));  // list contains the output to populate in new column
        i++;
    }

}

FileOutputStream fos = new FileOutputStream(new File(pathToOutput));
workbook.write(fos);
fos.close();

它可以很好地处理较小的文件，但问题是我对于较大的文件内存不足。现在我尝试修改它并使用SXSSF代替XSFF来解决内存问题（参见下面的代码）。但是，即使对于较小的文件进行测试，我也会得到与输入文件相同的输出文件。

FileInputStream excelFile = new FileInputStream(new File(pathToFile));
XSSFWorkbook xwb = new XSSFWorkbook(inputStream);
inputStream.close();

SXSSFWorkbook wb = new SXSSFWorkbook(xwb,100); 
wb.setCompressTempFiles(true);
SXSSFSheet sh = (SXSSFSheet) wb.getSheetAt(0);
Iterator<Row> iterator = datatypeSheet.iterator();

int i=0;
while (iterator.hasNext()) {  // Loop over each row
    Row currentRow = iterator.next();
    Cell cell = currentRow.createCell(currentRow.getLastCellNum());
    cell.setCellType(Cell.CELL_TYPE_STRING);
    if(currentRow.getRowNum() == 0)
        cell.setCellValue("OUTPUT-COLUMN"); // set column header for the new column
    else {
        cell.setCellValue(list.get(i));  // list contains the output to populate in new column
        i++;
    }

}

FileOutputStream fos = new FileOutputStream(new File(pathToOutput));
wb.write(fos);
fos.close();

在我的用例中不适合使用db，我希望避免由于内存限制而使用临时数据结构来保存数据以进行写入。

有没有办法在流式传输时写入输出工作簿？这是我使用POI Streaming API读取的代码

private class ExcelData implements SheetContentsHandler {  

LinkedHashMap<Strin, String> rowMap;

    public void startRow(int rowNum) {
             
    }

    public void endRow(int rowNum) {
    // Process the row
    // Handle write to output workbook ??
    }

    public void cell(String cellReference, String formattedValue,
            XSSFComment comment) {
    // Save current row in rowMap ( column name => cell value )
    }

    public void headerFooter(String text, boolean isHeader, String tagName) 
    {
    }
}

Answer 1

无法使用POI SXSSF将列添加到现有工作簿。它只允许添加新行。

唯一的解决方案是读取现有工作簿并写入具有添加列的新工作簿。

为了实现这一点，我们可以将行存储在endrow（）方法中的数据结构或数据库中，然后使用持久化的数据编写新的工作簿。