Блог

Я пытаюсь проверить json с помощью процессора ValidateRecord через Avroschemaregistry. Мне нужно сохранить сообщение об ошибке проверки в таблице sql, поэтому я попытался зафиксировать сообщение об ошибке в атрибуте, но я не могу зафиксировать сообщение об ошибке в атрибуте, есть идеи, как это сделать

После того, как ваш процессор ValidateRecord, вы можете выбрать маршрутизацию файлов потока, которые являются «недопустимыми», в отдельный журнал и перенаправить их в вашу таблицу sql, вы можете сделать то же самое, если они «сбой». Я предполагаю, что из «сообщения об ошибке» вы имеете в виду «буллинг», который может возникнуть, когда процессор не может ни проверить, ни аннулировать файл потока на основе вашей схемы.

Потенциальным решением этой проблемы является использование SiteToSiteBulletinReportingTask

Скриншот SiteToSiteBulletinReportingTask

Вы можете создать поток данных для получения этих событий бюллетеня, манипулировать ими по своему усмотрению и сохранять их в выбранном вами месте для ваших нужд аудита.

Судя по всему, SiteToSiteBulletinReportingTask должен быть в состоянии достичь того, чего вы хотите. Чтобы реализовать это, добавьте iteToSiteBulletinReportingTask в «Задачи отчетности» в настройках NiFi: задачи отчетности в настройках NiFi

Вы можете назвать свой входной порт и направить его в свое хранилище SQL, и у вас должно быть то, что вам нужно.

Вам необходимо разрешить узлам NiFi получать данные через межсайтовый порт на входном порту, а также предоставить правильные разрешения для корневой группы процессов, чтобы узлы могли видеть компонент, просматривать и изменять данные.

Примечание: обычно я регистрирую все, и у меня есть все сбои и недопустимый маршрут к файлам журнала, которые я помещаю в хранилище, например, HBase / SQL. Одно из предложений, которое я видел, — настроить подсистему ведения журнала для дополнительной отправки определенных категорий ошибок в выбранное вами место назначения (например, активное уведомление против пассивного анализа журналов). NiFi использует очень гибкую систему обратной регистрации (эволюция log4j). Лучшая часть — изменения в $NIFI_HOME/conf/logback.xml файл конфигурации не требует перезапуска экземпляра, будет получен в течение 30 секунд или меньше.