#postgresql #pentaho-data-integration
Вопрос:
У меня есть отображение Pentaho, в котором я загружаю данные из плоского файла в таблицу postgres. Это простое сопоставление один к одному.
Я пытаюсь включить обработку ошибок в это сопоставление. Без обработки ошибок данные загружаются довольно быстро (скорость около 3000 об / мин), но если добавлена обработка ошибок, то данные загружаются очень медленно со скоростью 1 об / мин.
Кто-нибудь сталкивался с подобной проблемой? Неужели драйвер postgres в PDI не поддерживает обработку ошибок?
Прикрепление изображения моего отображения:
Комментарии:
1. Я не знаю, что делает эта обработка ошибок, но я предполагаю, что она переключается с пакетных вставок на однорядные вставки с точками сохранения, которые, как ожидается, будут намного медленнее.
2. Обработка ошибок записывает все те записи, которые отклоняются базой данных из-за ограничений. Например: если целевая таблица имеет первичный ключ, и вы предоставляете дубликаты данных, то отклоненная строка будет записана в выводе обработки ошибок, а остальные данные будут загружены без каких-либо ошибок.