Блог

Я хочу запустить библиотеку Siddhi CEP с помощью KafkaStreams, но, похоже, у нее уже есть своя концепция «потоков». Как мне подключить KafkaStreams, чтобы планы выполнения Siddhi запускались вместо KafkaStreams?

РЕДАКТИРОВАТЬ комментарий Дилини >>

Ссылка на: документация Kafka Streams

Kafka Streams в настоящее время не имеет тесной интеграции с найденной мной структурой CEP. Например, у Apache Flink есть собственный Flink CEP. Итак, я бы предположил использование Siddhi CEP в качестве уровня абстракции поверх потоков Kafka с тесной интеграцией между двумя технологиями. Например,

1. Создание потока Siddhi CEP автоматически создаст тему Kafka и поток Kafka для потоковой передачи событий, опубликованных в этой теме.
2. Создание выходных потоков Siddhi CEP позволило бы создать тему Kafka и опубликовать в ней
3. «Таблица событий» Siddhi CEP может быть либо локальным «хранилищем состояний» потоков Kafka, либо разделом Kafka, поскольку они по сути являются реплицируемым разделенным хранилищем данных. Это вместо использования СУБД или таблицы событий в памяти и т. Д.
4. Планы выполнения Siddhi CEP сложные запросы событий будут перенаправляться в API-интерфейсы процессора Kafka Streams, которые выполняют map() , filter() и присоединяются к потокам Kafka для проверки шаблонов и т. Д..

Я пытаюсь понять, почему я хотел бы иметь несколько «потоковых» фреймворков, особенно, если у меня уже есть потоки Kafka в моей среде.