Блог

Я хочу использовать KLL sketch для потокового приложения. Проблема в том, что KLL sketch является вычислением с отслеживанием состояния и, следовательно, не идемпотентен. Может ли это быть реализовано с использованием в Beam или Flink, предпочтительно в Python?

Apache Datasketch сообщает, что усилия по интеграции начались с Apache Flink и Apache Impala. Также есть интерес со стороны Apache Beam. В чем основная трудность? Большинство эскизов используют примитивные типы и массивы внутри.

Вы можете использовать состояние и таймеры, чтобы использовать это в потоковом конвейере Beam.