#azure-databricks
#azure-databricks
Вопрос:
В моем хранилище больших двоичных объектов Azure есть несколько файлов, таких как
назовите последние измененные данные-РУКОВОДСТВО 1 января 1,20 data_guid2 2 января 20
Как бы мне получить самый последний измененный файл, например data_guid2?
В настоящее время я жестко кодирую имя :
file_location= /dbfs/mnt/blob/container/data_Guid1
Заранее спасибо.
Ответ №1:
Вы можете получить список всех имен файлов, затем написать любой пользовательский код, который вы хотите найти, чтобы найти самый последний (т. Е. Найти тот, у которого в конце наибольшее число)
Вы можете получить этот список с помощью dbutils.fs.ls («») функция:https://kb.databricks.com/data-sources/wasb-check-blob-types.html
URL-адрес вашего блочного контейнера будет иметь следующий формат:
wasbs://<containername>@<accountname>.blob.core.windows.net/<file.path>/
Если у вас возникли проблемы с этим подходом или вы хотите также получить временные метки «последнего изменения» для файлов, ознакомьтесь с этой ссылкой для получения дополнительных способов перечисления файлов в каталоге больших двоичных объектов:https://kb.databricks.com/data-sources/wasb-check-blob-types.html