Триггер Azure Kafka: как получать только события после указанного смещения

#apache-kafka #azure-functions #kafka-consumer-api

Вопрос:

Как я могу начать чтение тематических сообщений с определенной точки с помощью триггера Azure? Я видел объяснение того, как это сделать, используя флаг «—offset», но триггер не раскрывает этого.

Я создаю новую интеграцию для существующей темы с большой скоростью потока данных и определенно не хочу получать все предыдущие сообщения (независимо от срока хранения этого клиента). Это моя первая попытка работать с Кафкой.

Комментарии:

1. Проверьте эту ссылку tsuyoshiushio.medium.com/…

Ответ №1:

Ниже приведен код для вычисления смещения

 var config = new ConsumerConfig
{
    ...
    EnableAutoCommit = true // (the default)
    EnableAutoOffsetStore = false
}

...

while (!cancelled)
{
    var consumeResult = consumer.Consume(cancellationToken);

    // process message here.

    consumer.StoreOffset(consumeResult);
}
 

Для получения дополнительной информации проверьте Смещение Кафки.

Также проверьте триггер Кафки для получения полной информации.

Комментарии:

1. Пример кода и первая ссылка предназначены для использования клиента Kafka от Confluent. Мне нужно знать, как это сделать с помощью триггера Microsoft Azure Kafka. Цуоши Ушио предоставляет много полезной информации, но я все еще не понимаю, как это сделать, прочитав все его материалы, которые я могу найти.