Блог

У меня есть таблица, содержащая большое количество записей. Есть столбец, определяющий тип записи. Я хотел бы собирать записи с определенным значением в этом столбце. Вроде:

 Select * FROM myVeryOwnTable WHERE type = "VERY_IMPORTANT_TYPE" 
  

Что я заметил, я не могу использовать WHERE предложение в пользовательском запросе, когда я выбираю инкрементный режим ( временная метка), иначе мне нужно было бы позаботиться о фильтрации самостоятельно.
Предпосылкой того, чего я хотел бы достичь, является то, что я использую Logstash для передачи некоторого типа данных из MySQL в ES. Это легко достижимо с помощью запроса, который может содержать предложение where . Однако с Kafka я могу передавать свои данные намного быстрее (почти мгновенно) после вставки новых строк в DB.

Спасибо за любые подсказки или советы.

Благодаря @wardziniak я смог это настроить.

 query=select * from (select * from myVeryOwnTable p where type = 'VERY_IMPORTANT_TYPE') p
topic.prefix=test-mysql-jdbc-
incrementing.column.name=id
  

однако я ожидал увидеть тему test-mysql-jdbc-myVeryOwnTable , поэтому я зарегистрировал своего потребителя в ней. Однако при использовании запроса, показанного выше, имя таблицы пропущено, поэтому моя тема была названа точно так, как префикс, определенный выше. Итак, я только что обновил свои свойства topic.prefix=test-mysql-jdbc-myVeryOwnTable , и, похоже, все работает просто отлично.

Вы можете использовать подзапрос в вашем свойстве Jdbc Source Connector query .

Пример конфигурации исходного соединителя JDBC:

 {
    ...
    "query": "select * from (select * from myVeryOwnTable p where type = 'VERY_IMPORTANT_TYPE') p",
    "incrementing.column.name": "id",
    ...
}