Выполнить мой лямбда-код, когда все сканеры клея будут запущены

#amazon-web-services #aws-lambda #amazon-redshift #aws-glue #amazon-redshift-spectrum

#amazon-web-services #aws-lambda #amazon-redshift #aws-glue #amazon-redshift-spectrum

Вопрос:

У меня есть требование, в соответствии с которым мне нужно запустить мою лямбда-функцию, когда все сканеры клея будут запущены и мои данные в redshift будут готовы к запросу.

Я настроил следующее правило AWS cloudwatch, но оно запускает лямбда-код, если какой-либо из сканеров был выполнен успешно.

 {
  "detail-type": [
    "Glue Crawler State Change"
  ],
  "source": [
    "aws.glue"
  ],
  "detail": {
    "crawlerName": [
      "crw-raw-recon-the-hive-ces-cashflow",
      "crw-raw-recon-the-hive-ces-position",
      "crw-raw-recon-the-hive-ces-trade",
      "crw-raw-recon-the-hive-ces-movement",
      "crw-raw-recon-the-hive-ces-inventory"
    ],
    "state": [
      "Succeeded"
    ]
  }
}
  

Теперь мой вопрос: есть ли способ, которым я мог бы принудительно запустить лямбда-код, только когда все они завершатся успешно?
Кроме того, я не уверен, генерирует ли redshift какие-либо подобные события при получении данных.

Комментарии:

1. Похоже, что вы просматриваете один и тот же источник. Почему вы используете несколько сканеров вместо одного? Использование нескольких поисковых систем увеличит затраты, связанные

2. @PrabhakarReddy На самом деле я не такой, соглашение об именовании может заставить вас так думать, но это разные объекты.

3. Разные источники JDBC?

4. @PrabhakarReddy Да