Блог

У меня есть разъем mongo source для прослушивания всех коллекций в БД. Это почти реальное время для всего времени, за исключением приведенного ниже сценария,

У меня много массовых вставок с помощью нескольких вызовов БД с медленной скоростью, всего 299467 документов. Соединитель источника получает 5000 записей для каждого опроса и публикует их в теме Кафки. Я настроил как «опрос.максимальный размер пакета»: 5000′. До 295 000 это публикация в реальном времени, но для окончательной записи 4467 требуется много времени около 15 минут. Мне интересно такое поведение и случается только тогда, когда я много вставляю. Похоже, это связано с максимальным размером пакета, может быть, соединитель источника ожидает следующих 5000 записей ?

Есть ли какая-нибудь конфигурация, чтобы решить эту проблему ?