Блог

Я работаю над проектом CEP, в котором я анализирую журналы из файла оптом. Файл представляет собой сжатый csv-файл, который массово передается на мой компьютер analytics каждый час, где каждая строка содержит событие с меткой времени, точно указывающей, когда оно произошло в течение предыдущего часа.

Чтение этого файла в простой объект Java не является проблемой, и я обычно получаю что-то вроде этого:

 class MyEvent {
    public Date getTimestamp();
    public String getMessage();  //shortened to these field only for simplicity
    public String getSource();
    public int getCount();
}
  

Итак, проблема в том, что этот файл может содержать события, которые были записаны где-то между 1 часом и 1 секундой назад, и единственный способ узнать это — проверить поле метки времени в самом событии. При загрузке этих событий в Esper все они будут загружены в течение нескольких секунд (вероятно, их будет десятки тысяч, и они будут загружены так быстро, как только Esper сможет их принять).

Теперь сам анализ хочет вычислять среднее «количество» на «источник» каждые 5 минут в Esper (ничего слишком сложного), однако, поскольку все события загружаются в течение нескольких секунд, временное окно в Esper будет неправильным, и все события могут находиться в одном временном окне независимо от того, когдаони были созданы. Итак, мой вопрос: есть ли возможность переопределить то, что считается меткой времени события в временных окнах Esper?

Проблема также возрастает, когда временное окно разделяется между двумя файлами, которые загружаются с часовой задержкой.

Спасибо.

Это сделает это: выберите источник, суммируйте (посчитайте) из группы MyEvent по исходному выводу каждые 5 секунд

Esper также позволяет внешнему таймеру свободно управлять временем в коде приложения.