#amazon-web-services #aws-glue #data-lake #aws-glue-spark
#amazon-веб-сервисы #aws-glue #озеро данных #aws-glue-spark
Вопрос:
В рамках проверки данных у меня есть пример использования для обработки многих таблиц. Количество таблиц почти 2000. Из-за жесткого SLA теперь необходимо обрабатывать много таблиц одновременно. Из-за ограничения параллелизма клея в 50 (которое я увеличил до 100, обратившись в службу поддержки. Они не могут увеличиваться дальше, поскольку 100 — это жесткий предел для моего региона AWS). Есть ли лучший способ обработки моих данных?