Запрос Athena завершается с ошибкой после добавления сегмента S3 в формирование озера

#amazon-web-services #amazon-athena #aws-lake-formation

#amazon-web-services #amazon-athena #aws-lake-formation

Вопрос:

  • Это ошибка, которую мы получаем в Athena: HIVE_UNKNOWN_ERROR: Error creating an instance of com.facebook.presto.hive.lakeformation.CachingLakeFormationCredentialsProvider
  • Корзина зарегистрирована в Lake Formation
  • Роли, используемой для запроса Athena, предоставлен полный доступ в Lake Formation к базе данных и ко всем таблицам в базе данных
  • Роли предоставлен доступ к базовому сегменту s3 в разделе Расположения данных в Lake Formation.

Ответ №1:

Обратился в службу поддержки AWS. Оказывается, проблема заключалась в том, что у меня были «-» и «.» в моем имени базы данных Athena. Согласно документации Athena:

«Единственными допустимыми символами для имен баз данных, имен таблиц и имен столбцов являются строчные буквы, цифры и символ подчеркивания». (https://docs.aws.amazon.com/athena/latest/ug/glue-best-practices.html#schema-names )

По какой-то причине это не было проблемой, когда мы работали за пределами Lake Formation, но как только мы зарегистрировали местоположение S3 в LF, начался сбой. Я подтвердил, что удаление этих символов из имени базы данных решает проблему.

Ответ №2:

Убедитесь, что вы указали косую черту (/) за именем корзины