Databricks: где находятся все файлы и папки ноутбука, использующие %sh?

#databricks

#databricks

Вопрос:

Я пытаюсь найти файлы рабочей области с помощью волшебной команды notebook в режиме терминала %sh.

Мы используем onprem bibucket, который не поддерживается databricks. Я хочу запускать команды git «вручную» в сценариях. Чтобы выполнить инициализацию или сделать что-либо, мне нужно знать адрес папки в режиме терминала (%sh).

Если я выполняю приведенную ниже команду, кажется, что она выполняется бесконечно:

 %sh find / -name FOLDERNAME -type d
  

Если я запускаю это, он выдает мне адрес относительно папки workspace, но в терминале нет папки workspace.

 %scala
dbutils.widgets.text("notebook", dbutils.notebook.getContext().notebookPath.get)
  

Я знаю, что databricks-cli — это вариант, но он слишком ручной и подвержен проблемам, поскольку он включает загрузку файлов на локальный компьютер перед фиксацией и наоборот.

Комментарии:

1. Вы спрашиваете, где хранятся записные книжки и библиотеки DB? и способ их извлечения %sh ?

2. да, я хочу знать, где находятся файлы, не используя workspace-cli.

3. Они хранятся в облаке. Вы не сможете найти их с помощью %sh