Блог

Итак, у меня есть проект github Spark с файлом Dockerfile, в котором есть CD/CI с Дженкинсом, поэтому в любое время, когда создается PR, он будет запускать тесты через CD/CI, и я хочу знать, как использовать AWS для запуска этого проекта Spark с помощью Docker.

Таким образом, AWS EMR не поддерживает запуск докеризованных контейнеров на Spark, мне интересно, возможно ли это вообще spark-submit .

Как лучше всего запустить такой проект (с помощью CD/CI, Dockerfile?) с AWS?