Блог

Я работаю с большим файлом Excel ( размером более 40 Мб , более 100 тыс. строк и 50 столбцов ). Я успешно читаю его, используя поток событий POI ( версия 3.10.1), а затем выполняю некоторые вычисления и сохраняю результат в списке.

Теперь я должен добавить этот список в виде столбца в тот же файл. В этой части я сталкиваюсь с проблемой.

Я попытался добиться этого, используя приведенный ниже код

 FileInputStream excelFile = new FileInputStream(new File(pathToFile));
Workbook workbook = new XSSFWorkbook(excelFile);
Sheet datatypeSheet = workbook.getSheetAt(0); // Get first sheet
Iterator<Row> iterator = datatypeSheet.iterator();

int i=0;
while (iterator.hasNext()) {  // Loop over each row
    Row currentRow = iterator.next();
    Cell cell = currentRow.createCell(currentRow.getLastCellNum());
    cell.setCellType(Cell.CELL_TYPE_STRING);
    if(currentRow.getRowNum() == 0)
        cell.setCellValue("OUTPUT-COLUMN"); // set column header for the new column
    else {
        cell.setCellValue(list.get(i));  // list contains the output to populate in new column
        i  ;
    }

}

FileOutputStream fos = new FileOutputStream(new File(pathToOutput));
workbook.write(fos);
fos.close();
 

Он отлично работает с файлами меньшего размера, но проблема в том, что у меня заканчивается память для файлов большего размера. Теперь я попытался изменить это и использовать SXSSF вместо XSFF, чтобы решить проблему с памятью (см. Код ниже). Но при тестировании даже для файлов меньшего размера я получаю выходной файл, такой же, как и входной файл.

 FileInputStream excelFile = new FileInputStream(new File(pathToFile));
XSSFWorkbook xwb = new XSSFWorkbook(inputStream);
inputStream.close();

SXSSFWorkbook wb = new SXSSFWorkbook(xwb,100); 
wb.setCompressTempFiles(true);
SXSSFSheet sh = (SXSSFSheet) wb.getSheetAt(0);
Iterator<Row> iterator = datatypeSheet.iterator();

int i=0;
while (iterator.hasNext()) {  // Loop over each row
    Row currentRow = iterator.next();
    Cell cell = currentRow.createCell(currentRow.getLastCellNum());
    cell.setCellType(Cell.CELL_TYPE_STRING);
    if(currentRow.getRowNum() == 0)
        cell.setCellValue("OUTPUT-COLUMN"); // set column header for the new column
    else {
        cell.setCellValue(list.get(i));  // list contains the output to populate in new column
        i  ;
    }

}

FileOutputStream fos = new FileOutputStream(new File(pathToOutput));
wb.write(fos);
fos.close();
 

Использование бд в моем случае не подходит, и я хочу избежать использования временной структуры данных для хранения данных для записи из-за ограничения памяти.

Есть ли способ записи в выходную книгу во время потоковой передачи ? Вот код, который я использую для чтения с помощью POI Streaming API

 private class ExcelData implements SheetContentsHandler {  

LinkedHashMap<Strin, String> rowMap;

    public void startRow(int rowNum) {
             
    }

    public void endRow(int rowNum) {
    // Process the row
    // Handle write to output workbook ??
    }

    public void cell(String cellReference, String formattedValue,
            XSSFComment comment) {
    // Save current row in rowMap ( column name => cell value )
    }

    public void headerFooter(String text, boolean isHeader, String tagName) 
    {
    }
}
 

Невозможно добавить столбец в существующую книгу с помощью POI SXSSF. Это позволяет добавлять только новые строки.

Единственное решение-прочитать существующую книгу и записать в новую книгу с добавленным столбцом.

Для достижения этой цели мы можем сохранить строки в структуре данных или базе данных в методе endrow (), а затем использовать сохраненные данные для написания новой книги.