Можно ли изменить SparkContext.sparkUser() ПОСЛЕ инициализации SparkContext?

#apache-spark #apache-spark-sql

#apache-spark #apache-spark-sql

Вопрос:

Я инициализирую a SparkContext для запуска нескольких запросов SparkSQL. Внутри этого SparkContext я создаю кучу таблиц, и у каждой таблицы должен быть другой владелец, однако Spark использует в sparkUser качестве владельца таблицы.

Итак, мне было интересно, можно ли изменить sparkUser после SparkContext того, как он уже был инициализирован?

Комментарии:

1. нет — это тоже ответ

2. Почему этот вопрос снова был отклонен? Это совершенно законный вопрос. То, что это невозможно сделать, не делает это меньшим вопросом.

Ответ №1:

Нет, путем простого вывода на основе этого https://forums.databricks.com/questions/21371/how-to-change-the-user-running-the-spark-job.html вопрос к Databricks, в котором они указывают, что вам нужно сделать это во время создания кластера.