Как определить разрешения для созданного файла в задании в Databricks?

#permissions #databricks #azure-databricks

#разрешения #databricks #azure-databricks

Вопрос:

У меня есть задание, которое записывает файл CSV. Записанный файл имеет разрешение 640, но мне нужен файл с разрешениями 770. Возможно ли, что задание автоматически создаст файл с разрешениями 770, чтобы не приходилось вручную исправлять разрешения?

Комментарии:

1. Какую операционную систему / дистрибутив вы используете?

Ответ №1:

Это зависит от того, куда вы записываете файл CSV.

Без каких-либо знаний о вашей работе я предположу, что вы записываете либо в DBFS, либо в файловую систему на главном узле вашего кластера. В любом случае вы можете добавить команду командной строки в свой ноутбук с помощью волшебной команды %sh, а затем использовать ‘chmod’.

Пример.

Команда 1

 dataframe.write.format("csv").save("myfile.csv")
//or
dataframe.write.format("csv").save("dbfs:/<some_path>/myfile.csv")
  

Команда 2

 %sh

# for local files on the master node
chmod <options> ./myfile.csv

# for files in the DBFS
chmod <options> /dbfs/<some_path>/myfile.csv