#apache-spark #jupyter-notebook #databricks #databricks-community-edition
#apache-spark #jupyter-блокнот #databricks #databricks-сообщество-издание
Вопрос:
Я использую Databricks community edition для запуска рабочих нагрузок spark. Я понимаю, что он использует ядра для запуска ноутбуков
- Есть ли способ определить, какое ядро использует notebooks для запуска?
- Как именно ноутбук будет работать за кулисами (доступно очень мало информации)?
Комментарии:
1. вам нужно получить эту информацию программно или просто знать, Какая версия и т. Д. Запущена?
2. каким бы образом это ни было
Ответ №1:
Что касается первого вопроса, Databricks имеет ограниченное количество поддерживаемых «основных» языков — Scala, Python, R и SQL — вы можете установить их в качестве основного языка при создании записной книжки. Помимо языка, установленного на уровне ноутбука, вы можете использовать другой язык для данной ячейки, используя magics , например, %scala , %python , %r , , %sql . Существуют также дополнительные возможности, например, %sh для выполнения кода оболочки в драйвере, %fs для работы с файлами в DBFS и т. Д. Все это вы можете найти в документации.
Что касается 2-го вопроса — фактическая реализация не является общедоступной, но она должна работать аналогично реализациям Spark — pyspark и т.д.