#streamsets
#наборы потоков
Вопрос:
Мы пытаемся построить конвейер для чтения данных из JDBC (источника) и хранилища метафор Hive (назначения)
на вкладке Общие настройки ==> Библиотека этапов выбираем Hive 2.1-HDP 2.6.2 1-1 (поскольку у него нет версии, соответствующей нашей)
У нас есть следующая конфигурация
1) HDP :: 3.0.1
2) Hive: 3.1
3) SDC: 3.8.0
Просто имейте одну запись в таблице JDBC.
в режиме предварительного просмотра или после запуска конвейера появляется ошибка ниже :
com.streamsets.pipeline.api.base.Исключение OnRecordErrorException: HIVE_17 — Тип информации отсутствует или недопустим в записи метаданных: Запись[headers=’HeaderImpl[выберите * из shipping, ГДЕ event_id
${смещение} ПОРЯДОК по event_id ;::Количество строк: 0:1]’ data=’Поле[LIST_MAP:{event_id=Поле[ЦЕЛОЕ ЧИСЛО: 1], order_id=Поле[ЦЕЛОЕ ЧИСЛО:123], event_type=Поле[СТРОКА: ОТПРАВЛЕНО]}]’]
at com.streamsets.pipeline.stage.destination.hive.HiveMetastoreTarget.write(HiveMetastoreTarget.java:200)[enter image description here][1]
Комментарии:
1. Сборщик данных имеет библиотеку этапов для HDP 3.1, но не конкретно 3.0 — см. [ссылка] документацию по дополнительным библиотекам этапов [ссылка].