#python-2.7 #airflow
#python-2.7 #воздушный поток
Вопрос:
У меня есть файл dag, в котором я определил DAG и его задачи. Я хочу отключить ведение журнала только для этой базы данных. Есть идеи, как это сделать? Я не хочу изменять airflow.cfg или любой другой файл, кроме файла, который содержит определение текущей базы данных.
Комментарии:
1. Хотите ли вы отключить журнал / вывод каждой задачи в DAG или журнал для всей базы данных, включая журналы из планировщика (когда он генерирует DagBag)?
2. @dorvak В частности, я хочу отключить журналы всей базы данных, не заботясь о журналах планировщика.
3. Насколько мне известно, нет (или не выполнимо) способа сделать это из файла определения DAG. Вы можете, конечно, отключить ведение журнала для каждого оператора или DAG-объекта (например, переопределяя их _log / log / logging-методы), но base_task_runner и другие компоненты все равно будут создавать журнал (при получении DAG и т.д.). Вам нужно будет переопределить все эти классы в вашем файле определения DAG. Вероятно, проще очистить ваши файлы журналов / базу данных из самого DAG, используя PythonOperators, которые выполняют эти задания в конце DAG.