#amazon-web-services #pyspark #aws-lambda #apache-spark-sql #aws-glue
Вопрос:
У меня в базе данных около 60 таблиц, и эти таблицы необходимо переместить из S3 в Redshift с помощью клея AWS, и эти данные необходимо обновлять ежедневно. Я использовал закладки для вакансий в Клею. Но это только для добавления дополнительных данных. Это не помогло стереть все данные и заменить их новыми данными. Как мы можем сделать это внутри скрипта AWS Glue? Я использую цикл For in для перебора всех таблиц и перемещения их всех вместе в красное смещение. Есть ли возможность захватить cdc(запись данных об изменении) в клею?
Комментарии:
1. Пожалуйста, отредактируйте вопрос, чтобы ограничить его конкретной проблемой с достаточной детализацией для определения адекватного ответа.