Блог

Я пытаюсь найти оптимальный способ распараллеливания следующего:

1. Создайте изображение из движка Google Earth и экспортируйте его в хранилище Google Cloud.
2. Переместите это изображение из облачного хранилища на виртуальную машину, работающую на облачной платформе Google (скорее всего, с помощью Google Compute Engine).
3. Запустите сценарий, который обрабатывает этот образ на виртуальной машине. Это приведет к созданию нового продукта.
4. Верните новый продукт в Google Earth Engine в качестве актива Earth Engine.

Эти шаги, вероятно, будут выполняться сотни раз, поэтому потребуется распараллеливание. В облаке Google будет доступно несколько виртуальных машин, которые будут выступать в качестве узлов для обработки входящих данных. Мне нужен способ автоматизировать/запланировать эти задачи. Автомат сможет передавать изображение, сгенерированное с помощью Earth Engine, на доступную виртуальную машину (или узел) и знать, когда ему нужно подождать, прежде чем узел станет доступным для использования, прежде чем отправлять изображение. Может ли Kubernetes решить эту проблему? Я мало что знаю о Kubernetes, но я полностью за любые доступные варианты.

Используя Облачный планировщик для планирования и Pub/Sub для распределенного обмена сообщениями, вы можете надежно планировать задачи во множестве экземпляров вычислительных машин.

Если вам нужно запланировать и организовать сложные рабочие процессы в других продуктах или облаках, рассмотрите возможность использования Cloud Composer вместо этого.

В этом документе содержится подробное объяснение использования облачного планировщика.