Блог

Я использую рабочий процесс префекта для бизнес-приложений.

У меня вопрос о журналах, хранящихся в postgresql.

Если ежедневные журналы хранятся на сервере postgresql, объем данных будет огромным.

Есть ли механизм для поворота этого журнала и записи его в текстовый файл?

Кроме того, можно ли удалять соответствующую запись после записи данных из таблицы postgresql в текстовый файл и т. Д.?

Поскольку вы используете экземпляр сервера Prefect, имело бы смысл написать поток, который подключается к контейнеру postgres и архивирует журналы в какое-либо облачное хранилище (GCS, S3 и т. Д.) Для вас. Я бы, наверное, подумал об этом так:

1. Используйте префект Client для сбора всех идентификаторов прогонов потока старше определенной даты.
2. Подключитесь к postgres и выберите журналы из таблицы logs для журналов с этими идентификаторами выполнения потока
3. Запишите эти журналы в CSV / SQL / Text по своему усмотрению
4. Удалите эти журналы из postgres