Блог

Предыстория —

Данные временных рядов поступают в Apache Kafka, которые я храню в Cassandra. Поскольку необработанные данные требуют большого объема памяти, я пытаюсь агрегировать данные и создавать ежечасные, ежедневные, ежемесячные сводки для отчетности. Я могу придумать два подхода:

1. Потоковая обработка: Используйте Kafka Streams API для свертывания данных и приема свернутых данных в Cassandra.
2. Пакетная обработка: загружает необработанные данные в Cassandra, а также поддерживает индекс вновь введенных ключей. Запустите планировщик для извлечения ключей из индексной таблицы, которые были недавно введены с момента последнего запуска, извлеките временные ряды из Cassandra, сверните и сохраните в почасовых, ежедневных таблицах.

Какой метод, по вашему мнению, лучше и почему?

Я попробовал метод пакетной обработки. Это позволяет мне догонять данные, даже если мой сводный ряд не работает в течение некоторого времени. НО я думаю, что это тратит впустую много ресурсов, чтобы обеспечить мне надежность.

Я ожидаю, что свертка будет выполнена без использования слишком большого количества ресурсов.

Оба решения будут осуществимы. Поскольку у меня мало опыта работы с Cassandra, я упомяну только о возможностях решения этой проблемы с потоками Kafka:

• Kafka Streams поддерживает этот вариант использования «из коробки», используя управление окнами и агрегации:
  • https://kafka.apache.org/20/documentation/streams/developer-guide/dsl-api.html#windowing
  • https://kafka.apache.org/20/documentation/streams/developer-guide/dsl-api.html#streams-developer-guide-dsl-aggregating

• Это также позволяет обрабатывать записи с опозданием:

  • https://kafka.apache.org/20/documentation/streams/core-concepts.html#streams_concepts_aggregations

• С Kafka Streams вам не нужно будет поддерживать отдельную базу данных, кроме Kafka, все ваши агрегации будут выполняться в вашем клиентском приложении. Внутренние потоки Kafka будут использовать RocksDB в качестве опции хранения. Агрегированные результаты могут быть записаны в отдельный раздел вывода или запрошены с помощью функции интерактивного запроса:

  • https://kafka.apache.org/10/documentation/streams/developer-guide/interactive-queries.html

На этой странице приведены некоторые расширенные примеры:

• https://cwiki.apache.org/confluence/display/KAFKA/Kafka Stream Usage Patterns