#postgresql #scala #amazon-s3 #aws-glue #aws-glue-spark
Вопрос:
Для моего требования мне нужно объединить данные, присутствующие в базе данных PostgreSQL(размещенной в RDS), и файл, присутствующий в корзине S3. Я создал задание клея(spark-scala), которое должно подключаться как к PostgreSQL, так и к ведру S3 и завершать обработку.
Но задание клея обнаруживает тайм-аут соединения при подключении к S3(ниже приведена ошибка msg). Он успешно извлекает данные из PostgreSQL.
С S3 нет проблем, связанных с разрешениями, потому что я могу читать/писать из одного и того же блока/пути S3, используя другое задание. Исключение/проблема возникает только в том случае, если я пытаюсь подключить как PostgreSQL, так и S3 в одном задании/скрипте клея.
В задании клея контекст клея создается с использованием SparkContext в качестве объекта. Я попытался создать два разных сеанса SparkSession, каждый для S3 и базы данных PostgreSQL, но этот подход не сработал. Возникла та же проблема с тайм-аутом.
Пожалуйста, помогите мне в решении этой проблемы.
Ошибка/Исключение из журнала: ОШИБКА[основная] glue.processLauncher (Logging.scala:Ошибка входа(91)):Исключение в пользовательском классе com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.Исключение SdkClientException: Не удается выполнить HTTP-запрос: Подключиться к emp_bucket.s3.amazonaws.com:443 [emp_bucket.s3.amazonaws.com/] сбой : время ожидания подключения истекло
Комментарии:
1. У вас есть конечная точка VPC S3?
2. Да, конечные точки VPC S3 находятся в состоянии «Доступно».
3. Можете ли вы предоставить исправление ключа для местоположения, используемого в S3, и свою политику для ролей в IAM?
4. Это исправлено. Проблема была с группой безопасности. Ранее был разрешен только TCP-трафик, так как часть трафика исправления была открыта для всех. Кроме того, добавлено правило HTTPS в правила входящих сообщений.
Ответ №1:
Это исправлено.
Проблема была с группой безопасности. Ранее разрешался только TCP-трафик. В рамках исправления движение было открыто для всех. Кроме того, добавлено правило HTTPS в правила входящих сообщений.