#etl #aws-glue #amazon-data-pipeline #aws-glue-workflow
Вопрос:
Нужна помощь по архитектуре Aws Glue !
У меня есть 10 заданий Aws Glue ETL(Тип-Spark, язык-Python 3.0). Эти задания должны выполняться для более чем 100 клиентов с их соответствующей исходной и целевой базой данных(параметризованной).
- Означает ли это, что мне нужно создать 10*100 рабочих мест для размещения всех клиентов ? Что, если эти клиенты будут расти в геометрической прогрессии ?
- Что делать, если мне нужно изолировать все эти данные о клиентах в пределах одного региона? (например,я не могу создавать выделенные экземпляры EC2/RDS, подобные экземплярам, для каждого клиента на AWS glue)
Я пытаюсь создать SaaS-подобную архитектуру на клею. Пожалуйста, посоветуйте или перенаправьте меня на полезный ресурс.