Блог

Мне нужно использовать файл HDFS в качестве поиска в задании NiFi. Этот файл HDFS содержит два поля id, name и мне нужно передать идентификаторы через мой поток и получить имя из файла HDFS. Мой файл HDFS в формате parquet snappy. Не могли бы вы, пожалуйста, сообщить мне, могу ли я достичь этого с помощью процессора поиска или я должен следовать другому подходу.

Любой пример рабочего процесса был бы действительно полезен.

Заранее всем спасибо.

Кумар

HDFS в качестве подстановки может быть действительно неэффективным, вероятно, поэтому у нас нет службы контроллера для этого. Где вы получаете файлы, по которым хотите выполнить поиск? Может быть, вместо этого вы можете получить файлы HDFS с помощью NiFi и выполнить «обратный поиск», где вы обогащаете файл HDFS полями из того, с чем вы пытаетесь выполнить поиск?

Сказав это, у NiFi есть службы поиска по базе данных, поэтому альтернативой является помещение ваших файлов HDFS в HBase и выполнение поиска таким образом.