#apache-spark #apache-nifi #livy
#apache-spark #apache-nifi #livy
Вопрос:
Есть ли способ, мы можем выполнить код Spark (пакет в jar) из Nifi, используя Livy?
Я вижу в Nifi, что с помощью ExecuteSparkInteractive мы можем отправлять пользовательский код, который можно запускать в кластере spark с помощью livy. но я хочу передать имя файла jar, основного класса в Nifi, который соединяет Spark через Livy.
Я вижу статью об этом ниже, но, похоже, опция like Session JARs недоступна при простой установке Nifi.
Комментарии:
1. Ну, через rest API это, безусловно, должно быть возможно
2. @GeorgHeiler Не могли бы вы подробнее рассказать?
3. Ну, NiFi может выполнять произвольный код с помощью скриптов bash / python, и я полагаю, что у него также есть процессор для выполнения вызовов REST. Вам нужно будет 1) через HDFS web обязательно загрузить JAR в место, доступное для Livy 2) использовать REST API Livi для запуска задания.
4. Но, по-видимому: nifi.apache.org/docs/nifi-docs/components/org.apache.nifi /… также доступен в более изначально интегрированном формате. Вы уже пробовали это?
5. Да, я видел это в отношении Nifi. Мы должны встроить код spark в Nifi, чего в моей ситуации нет.