Блог

Главная - Вопросы по программированию - Ошибка значения: корневой каталог должен быть абсолютным путем: Ошибка при доступе к каталогу в ADLS из рабочей области Synapse

Ошибка значения: корневой каталог должен быть абсолютным путем: Ошибка при доступе к каталогу в ADLS из рабочей области Synapse

#apache-spark #pyspark #azure-synapse #great-expectations

Вопрос:

При попытке получить доступ к каталогу ADLS со следующим кодом PySpark в Apache Spark я получаю ошибку:

 ValueError: root_directory must be an absolute path. Got abfss://root@adlspretbiukadlsdev.dfs.core.windows.net/RAW/LANDING/ instead.
Traceback (most recent call last):

  File "/home/trusted-service-user/cluster-env/env/lib/python3.6/site-packages/great_expectations/core/usage_statistics/usage_statistics.py", line 262, in usage_statistics_wrapped_method
    result = func(*args, **kwargs)

Код, который выдает вышеуказанную ошибку, когда я пытаюсь получить доступ к каталогу, выглядит следующим образом:

 data_context_config = DataContextConfig(
                    datasources={"my_spark_datasource": my_spark_datasource_config},
                    store_backend_defaults=FilesystemStoreBackendDefaults(root_directory='abfss://root@adlspretbiukadlsdev.dfs.core.windows.net/RAW/LANDING/'),
                )

context = BaseDataContext(project_config=data_context_config)

Когда я изменю код на

 data_context_config = DataContextConfig(
                    datasources={"my_spark_datasource": my_spark_datasource_config},
                    store_backend_defaults=FilesystemStoreBackendDefaults(root_directory='/abfss://root@adlspretbiukadlsdev.dfs.core.windows.net/RAW/LANDING/'),
                )

Я получаю следующее сообщение об ошибке:

 PermissionError: [Errno 13] Permission denied: '/abfss:'
Traceback (most recent call last):

Когда я ввожу следующий код

 data_context_config = DataContextConfig(
                    datasources={"my_spark_datasource": my_spark_datasource_config},
                    store_backend_defaults=FilesystemStoreBackendDefaults(root_directory='/'),
                )

context = BaseDataContext(project_config=data_context_config)

Я получаю сообщение об ошибке:

 PermissionError: [Errno 13] Permission denied: '/expectations'
Traceback (most recent call last):

Однако у меня нет каталога с именем ‘/ожидания

В качестве примечания я пытаюсь выполнить Great_Expectations.

Ответ №1:

Разработчики Great_Expectations сообщили мне, что эта ошибка будет исправлена в новом выпуске Great_Expectations

Метки: