получить самый последний файл из хранилища больших двоичных объектов Azure

#azure-databricks

#azure-databricks

Вопрос:

В моем хранилище больших двоичных объектов Azure есть несколько файлов, таких как

назовите последние измененные данные-РУКОВОДСТВО 1 января 1,20 data_guid2 2 января 20

Как бы мне получить самый последний измененный файл, например data_guid2?

В настоящее время я жестко кодирую имя :

  file_location=  /dbfs/mnt/blob/container/data_Guid1
  

Заранее спасибо.

Ответ №1:

Вы можете получить список всех имен файлов, затем написать любой пользовательский код, который вы хотите найти, чтобы найти самый последний (т. Е. Найти тот, у которого в конце наибольшее число)

Вы можете получить этот список с помощью dbutils.fs.ls («») функция:https://kb.databricks.com/data-sources/wasb-check-blob-types.html

URL-адрес вашего блочного контейнера будет иметь следующий формат:

 wasbs://<containername>@<accountname>.blob.core.windows.net/<file.path>/
  

Если у вас возникли проблемы с этим подходом или вы хотите также получить временные метки «последнего изменения» для файлов, ознакомьтесь с этой ссылкой для получения дополнительных способов перечисления файлов в каталоге больших двоичных объектов:https://kb.databricks.com/data-sources/wasb-check-blob-types.html