Как подключить JDBC connector к объединенным запросам AWS Athena?

#amazon-web-services #jdbc #amazon-athena

#amazon-веб-сервисы #jdbc #амазонка-афина

Вопрос:

Я хочу запросить базу данных Aurora MySQL из Athena, используя федеративные запросы.

Насколько я понимаю, мне нужно найти JDBC connector в Serverless Application Repository сервисе, а затем следовать этому руководству.

Мне удалось настроить лямбда-функцию:

Параметры среды выполнения com.amazonaws.connectors.athena.jdbc.MultiplexingJdbcCompositeHandler

Переменные среды:

 aurora_connection_string    mysql://jdbc:mysql://auroradb-databasecluster-####.us-east-1.rds.amazonaws.com:3306?user=####amp;password=####
default mysql://jdbc:mysql://auroradb-databasecluster-####.us-east-1.rds.amazonaws.com:3306?user=####amp;password=####
disable_spill_encryption    false
spill_bucket    athena-federation-spill-ips
spill_prefix    athena-spill

Для подсетей и группы безопасности я добавил те же 2 подсети и группу безопасности, которые добавлены в мой кластер баз данных. Он автоматически нашел правильный VPN.

Когда я добавил эту лямбда-функцию в качестве источника данных в Athena, она доступна как источник, но при выборе она просто начинает бесконечную загрузку баз данных и таблиц. Нет сообщения об ошибке. Единственный браузер, жалующийся на то, что страница перестала отвечать на запросы.

Большинство документов и руководств по-прежнему ссылаются на использование AmazonAthenaPreviewFunctionality , которое было какое-то время назад, когда федеративные запросы находились в предварительном просмотре. Поэтому мне неясно, действительно ли руководство в github обновлено.

Может ли это быть проблемой с настройкой группы безопасности? У нас есть правила входа, разрешающие только определенный IP-трафик (но я добавил временное правило, разрешающее все, и ничего не изменилось).

Где / как я могу получить подробное сообщение об ошибке? До этой проблемы в консоли Athena были всевозможные ошибки, которые были полезны для улучшения настройки функции lambda.

Любая помощь будет высоко оценена!

Ответ №1:

В моем случае проблема заключалась в том, что лямбда-выражение не могло подключиться к корзине разлива. Чтобы устранить проблему, создайте частную конечную точку VPC в S3 и добавьте конечную точку в политику корзины.

Ответ №2:

Вы можете обратиться к журналам CloudWatch.