#python #apache-kafka #kafka-python
#python #apache-kafka #kafka-python
Вопрос:
Я пытаюсь передать данные из разделов kafka в реляционную базу данных, такую как postgres. Я не хочу использовать соединители kafka connect или jdbc. Каким-либо образом я могу использовать необработанные запросы для экспорта данных из kafka в postgres.
Я буду использовать python для реализации этого
Комментарии:
1. Вы можете, конечно. С какими проблемами вы сталкиваетесь?
2. Я не знаю, как это сделать. Должен ли я использовать kSQL для запроса данных, а затем вставлять их вручную в postgres?
3. В вашем вопросе ничего не говорилось о запросах, только с использованием python, Kafka и Postgres. Вы используете тему, разбираете поля и записываете в таблицу… Kafka Connect поставляется вместе с Kafka, так что не совсем понятно, почему вы бы его не использовали
4. Я пытаюсь научиться делать это без kafka connect. Могу ли я просто проанализировать событие в consumer и использовать запрос insert для postgres?
5. Это правильно. Но вам также необходимо обрабатывать фиксации смещения, координацию групп потребителей, перезапуски, неверные данные и любые возможные изменения столбцов таблицы