Блог

Я запускаю потоковую передачу spark в режиме кластера yarn, и я хочу записывать журналы и записывать их в локальный файл драйвера для этого я создал пользовательские файлы log4j.properties, в которых я указал путь к локальному файлу драйвера, но я вижу только журналы драйверов в этом файле, почему журналы моих исполнителей не записываютсяв этом файле и как я могу захватить журнал исполнителя. Я пробовал разные подходы, и моя команда spark-submit выглядит следующим образом:-

 spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar
  

вы можете опубликовать свой log4j.properties.Я предполагаю, что вы можете видеть журналы исполнителя в локальном каталоге узла исполнителя