Блог

Я знаю, что могу настроить уровень журнала с помощью spark.sparkContext.setLogLevel('INFO') журналов, таких как следующие, которые отображаются в терминале, но не в записной книжке jupyter.

 2019-03-25 11:42:37 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2019-03-25 11:42:37 WARN  SparkConf:66 - In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN).
2019-03-25 11:42:38 WARN  Utils:66 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
  

Сеанс spark создается в локальном режиме в ячейке jupyter notebook.

 spark = SparkSession 
    .builder 
    .master('local[7]') 
    .appName('Notebook') 
    .getOrCreate()
  

Есть ли какой-либо способ переслать журналы в jupyter notebook?