Как настроить Azure Storage Gen 2 для Azure Databricks

#azure-storage #azure-databricks

#azure-хранилище #azure-databricks

Вопрос:

Я пытаюсь смонтировать data lake с помощью Databricks. Моя цель — создать озеро данных. Интересно, почему формат моего URL отличается от документации.Что означает файловая система и dfs?

Я попытался создать озеро данных с Azure Storage Gen2. Включил иерархию и начал создавать каталоги. Я заметил, что URL-адрес файла содержит слово «blob».

В настоящее время это мой URL-адрес: https://datalakestagingtest.blob.core.windows.net/staging/manufacturers/nissan/micra.csv

Я вижу, что формат отличается в документации DataLake, где url может быть abfss://@.dfs.core.windows.net/

Ссылка: https://docs.databricks.com/data/data-sources/azure/azure-datalake-gen2.html

1. В Azure databricks используется файловая система Hadoop. И в Hadoop нам нужно использовать схему abfs для доступа к Azure Storage Gen 2. Для получения более подробной информации, пожалуйста, обратитесь к learn.microsoft.com/en-us/azure/storage/blobs /…

2. Что мне нужно сделать на стороне хранилища Azure? @JimXu

3. В обычном режиме нам не нужно ничего делать на стороне хранилища Azure.

Ответ №1:

При подключении учетных записей хранения в Azure Databricks следует учитывать несколько важных моментов.

Для хранилища больших двоичных объектов Azure: source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>"

Для Azure Data Lake Storage gen2: source = "abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/"

Чтобы подключить файловую систему Azure Data Lake Storage Gen2 или папку внутри нее в качестве файловой системы Azure Databricks, URL-адрес должен быть следующим abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/

Ссылка: Azure Databricks — хранилище озера данных Azure Gen2

1. Если мой ответ полезен для вас, вы можете принять его в качестве ответа (нажмите на галочку рядом с ответом, чтобы переключить его с серого на заполненный.). Это может быть полезно для других участников сообщества. Спасибо.