#druid
Вопрос:
Я настраиваю Druid в кластере EMR и успешно проглатываю файлы parquet из корзины gcs с помощью пакетного приема.
Теперь я хотел автоматизировать этот процесс приема, чтобы он выполнялся каждый день для другого файла (в том же контейнере s3) с той же конфигурацией. Возможно ли это? Или мне нужно было бы делать это вручную каждый день.
Ответ №1:
Невозможно создать задание, которое планируется ежедневно в druid. Однако вы можете создать свою задачу и отправлять ее ежедневно, используя (например) cronjob.
Отправка запроса в druid-это не что иное, как выполнение HTTP-запроса. Поэтому, если вы убедитесь, что файлы каждый день находятся в одном и том же месте, вы сможете очень легко это автоматизировать.
curl -X 'POST' -H 'Content-Type:application/json' -d @/path/to/your/task.json https://url-to-druid.com/druid/indexer/v1/task