Как мне создать образ Docker, представляющий озеро данных Azure (поколение 2)?

#azure #docker #azure-data-lake #azure-data-lake-gen2

Вопрос:

Я использую следующий образ Docker для сервера MS Sql…

 version: "3.2"
services:

  sql-server-db:
    image: mcr.microsoft.com/mssql/server:latest
    ports:
      - 1433:1433
    env_file: ./tests/.my_test_env

Как мне создать образ Docker для эмуляции озера данных Azure (gen 2)? Я взаимодействую с озером данных, используя Python 3 SDK, описанный здесь —https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-python .

Ответ №1:

Я не думаю, что возможно создать образ Docker, который эмулирует ADLS Gen 2. ADLS Gen 2 находится исключительно в Azure, и локального эмулятора нет. Поколение 1 предлагало локальный эмулятор, доступный через Visual Studio, что было удобно для проектов ADLA. Я думаю, что упомянутая вами статья описывает «установку библиотек для взаимодействия с ADLS Gen» 2, в отличие от «установки библиотек для работы в качестве эмулятора ADLS Gen 2», я полагаю.

В этой статье описывается эмулятор хранилища Azure и упоминаются службы больших двоичных объектов, очередей и таблиц. ADLS Gen 2 не упоминается, хотя в некотором смысле это учетная запись Blob с включенной опцией иерархического пространства имен.

Обязательно ли вам использовать Gen 2, например, вы могли бы использовать эмулированное хранилище больших двоичных объектов для небольших объемов, как указано в статье ниже, или почему бы просто не использовать реальную учетную запись Data Lake?

https://learn.microsoft.com/en-us/azure/storage/common/storage-use-emulator