У меня есть вариант использования, когда я должен передать некоторое значение в pyspark и в узле workers, мне нужно получить к ним доступ и выполнить некоторые бизнес-логические действия
#pyspark #spark-structured-streaming #пыспарк #спарк-структурированный-потоковый Вопрос: В настоящее время у меня есть вариант использования, когда я создаю накопитель для передачи переменных на рабочий узел в pyspark. accuSum=spark.sparkContext.accumulator(0) Если я использую накопитель…