Блог

Я отправляю программу pyspark в клиентском режиме (локально), используя spark2-отправить test.py

Я хотел бы записать все STDERR, сгенерированные в файл журнала, в каталог, который я хочу.

Есть ли способ сделать это?

Я знаю, что ниже будет записан stderr в текстовый файл в той же директории, что и программа

 spark2-submit something.py > results.txt 2>amp;1
 

Но есть ли способ записать его в определенный каталог журнала, который у меня есть ?

Вы можете просто указать полный путь к файлу журнала, как показано ниже

 spark-submit something.py >> /path/to/directory/and/log_file_name 2>amp;1