#docker #apache-spark #hadoop-yarn
Вопрос:
Я запускаю искру на Пряжу. и настроен:
spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE=докер
потому что моя работа выглядит так : java -> jni ->> c .итак(c зависит от множества библиотек) По какой-то причине я не могу установить эти библиотеки c на каждом узле кластера yarn.
поэтому я настроил spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE=docker и построил образ docker.
задание может выполняться успешно.
вопрос № 1 : как это работает, когда я отправляю задание spark на кластер Yarn.
он сначала запускает контейнер для пряжи на исполнителе, а затем запускает контейнер docker в контейнере для пряжи? или только запустить контейнер docker на исполнителе?
вопрос №2: на одном этапе задания spark у меня есть код java для вызова кода c , все ли коды java и c выполняются в docker или java выполняется в контейнере yarn, код c выполняется в docker contianer?
Спасибо.
Комментарии:
1. Пожалуйста, проясните вашу конкретную проблему или предоставьте дополнительные сведения, чтобы выделить именно то, что вам нужно. Поскольку это написано в настоящее время, трудно точно сказать, о чем вы просите.