Оператор искры против отправки искры — как выбрать, какой из них использовать?

#apache-spark #kubernetes

Вопрос:

Есть два способа запустить приложение spark в Kubernetes.

  1. Используйте spark-отправить с k8s:// основным URL.
  2. Используйте оператор spark-on-k8s. С помощью CRD в операторе spark мы могли бы осуществлять декларативное управление блоками spark с использованием файлов конфигурации (YAML).

Как мне выбрать между ними в производственной среде, в которой выполняется более 1000 рабочих нагрузок spark на Kubernetes?

Есть ли плюсы и минусы использования оператора spark?