Превышен лимит накладных расходов Pentaho

#garbage-collection #pentaho #pentaho-spoon #pentaho-design-studio #pentaho-data-integration

#сбор мусора #pentaho #pentaho-ложка #pentaho-design-studio #pentaho-интеграция данных

Вопрос:

Я хочу вставить данные из файла xlsx в таблицу. В Excel около 1 20 000 записей. Но во время выполнения преобразования я получаю сообщение об ошибке ниже:

Превышен лимит накладных расходов GC

Я изменился spoon.bat .

 Xmx2g -XX:MaxPermSize=1024m

Но все же я получаю эту ошибку.

Может кто-нибудь, пожалуйста, помочь в этом?

1. Попробуйте еще больше увеличить Xmx и посмотреть, поможет ли это. Также стоит использовать ps command, чтобы проверить, действительно ли установленные вами параметры применимы к процессу.

2. Вы нашли решение для этого?

Ответ №1:

В моем случае, в дополнение к добавлению параметров Xms и Xmx (которые не решили проблему полностью), я добавил опцию -XX:-UseGCOverheadLimit в spoon.sh и проблема решена.

Ответ №2:

Да, это работает, я увеличиваю объем памяти до 4 ГБ, проблема исправлена.

если «%PENTAHO_DI_JAVA_OPTIONS%»==»» установить PENTAHO_DI_JAVA_OPTIONS=»-Xms2048m» «-Xmx4096m»

Ответ №3:

Это известная ошибка с apache POI. шаг ввода xlsx не способен считывать большие файлы. В таких случаях я обычно превращаю свои файлы в CVS. вот пример jira. http://jira.pentaho.com/browse/PDI-5269

Переменная среды PENTAHO_DI_JAVA_OPTIONS используется для добавления опции к началу jre. Для шахты установлено значение «-Xms512m -Xmx3000M -XX: MaxPermSize = 256m»

Ответ №4:

Разделите файл на два разных файла, сохраните половину данных в одном файле, а остальные — в другом. Он работает отлично.