#python #google-cloud-platform #google-cloud-composer #google-cloud-monitoring
#python #google-облачная платформа #google-cloud-composer #google-cloud-мониторинг
Вопрос:
Я новичок в использовании службы Composer из GCP и хотел рассчитать продолжительность времени, в течение которого выполняются все мои задачи. Есть ли какой-либо скрипт, который я могу запустить, чтобы получить продолжительность каждой задачи базы данных Airflow из журналов Stackdriver. Я могу вручную рассчитать продолжительность, вычитая время начала и окончания задач, но я хочу сделать это с помощью скрипта. Пожалуйста, кто-нибудь может мне здесь помочь. Я прилагаю скриншоты журналов, которые генерируются для вашей справки.
Ответ №1:
Вы можете изучить показатели воздушного потока в Monitoring for workflows (DAG) и исполнителе сельдерея. Чтобы помочь вам отслеживать эффективность выполнения вашего рабочего процесса, доступны следующие показатели рабочего процесса:
- Количество запусков рабочего процесса:
composer.googleapis.com/workflow/run_count - Продолжительность каждого запуска рабочего процесса:
composer.googleapis.com/workflow/run_duration - Количество запусков задачи:
composer.googleapis.com/workflow/task/run_count - Продолжительность каждой задачи:
composer.googleapis.com/workflow/task/run_duration
Как вы можете видеть, пожалуйста, используйте composer.googleapis.com/workflow/task/run_duration API. Мониторинг облака показывает только показатели для завершенного рабочего процесса и выполнения задач (успех или неудача). Кроме того, посмотрите официальную документацию.