Блог

Какова цель отправки spark? Из того, что я вижу, это просто добавление свойств и jars в путь к классу. Если я использую spring boot, могу ли я избежать использования spark-submit и просто упаковать fat jar со всеми свойствами, которые я хочу spark.master и т. Д…

Может ли ppl увидеть какие-либо недостатки в этом?

недавно я столкнулся с таким же случаем — а также попытался придерживаться spring boot exec jar, который, к сожалению, потерпел неудачу, но я был близок к концу. состояние, когда я отказался, было — spring boot jar, созданный без включенных библиотек spark / hadoop, и я запускал его в кластере с помощью -Dloader.path=’список библиотек spark / hadoop, извлеченный из SPARK_HOME и HADOOP_HOME в кластере’. В итоге я использовал 2d option — build fat jar с затененным плагином и запустил его как обычный jar с помощью spark submit, что кажется немного странным решением, но все еще работает нормально