Блог

Я пытаюсь добавить графитовый приемник в свой компонент Fusion Spark.

Я создал файл — ${FUSION_DIR}/apps/spark-dist/conf/metrics.properties с содержимым —

 # Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=graphite-server
*.sink.graphite.port=2003
*.sink.graphite.period=10
*.sink.graphite.prefix=lab.$(hostname)

# Enable jvm source for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource
  

И добавил следующее в ${FUSION_DIR}/apps/spark-dist/bin/spark-submit —

 exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf=metrics.properties  "$@"
  

Но я не вижу никаких показателей, представленных в Graphite, и никаких ошибок в журналах Spark.
Кто-нибудь успешно использовал конфигурацию Spark metrics в Fusion?

Мне нужно было добавить полный путь к параметру —conf в spark-submit —

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf="${SPARK_HOME}"/conf/metrics.properties "$@" .

Я не видел ошибки при запуске Spark master и рабочих процессов, но я видел ошибку при запуске spark-shell , которая подсказала мне проблему с конфигурацией.