Обработка данных в файле журнала устройства, который меняется каждую ночь

#streaming #airflow #apache-flink

Вопрос:

У меня есть специальное устройство, которое генерирует данные в определенном файле. Я не могу запустить на устройстве ничего, кроме облегченной jvm. Формат данных известен, и я хочу свести к минимуму код, который я пишу, и использовать некоторый конвейер данных с помощью Flink/Airflow или Nifi. Может ли кто-нибудь указать мне на аналогичную проделанную работу? Процесс должен вести бухгалтерию файла indoe и смещать, так как все может перезапуститься