#elasticsearch #apache-kafka-connect #azure-eventhub #aws-msk #aws-kinesis
Вопрос:
Кто-нибудь использовал Kafka для подключения к одному или нескольким из следующих облачных потоковых сервисов?
- AWS Кинезис
- AWS MSK
- Центры событий Azure
FWIW мы хотим отправить данные из Кафки в ElasticSearch без необходимости использования дополнительных компонентов, таких как Logstash или FileBeat.
Сначала я думал, что мы можем сделать это только с помощью платформы Confluent, но потом прочитал, что Kafka Connect-это просто проект Apache с открытым исходным кодом. Единственная необходимость в слиянии была бы, если бы мы хотели/нуждались в использовании одного из фирменных разъемов, но, учитывая, что разъем для приемника ElasticSearch — единственный, который нам нужен (по крайней мере, на данный момент), и это разъем сообщества-см. Здесь (издесь для получения информации о лицензировании), мы могли бы сделать это с помощью одного из потоковых сервисов AWS/Azure, если это поддерживается (Примечание: AWS или Azure представляют собой путь меньшего сопротивления, поскольку компания, в которой я работаю, уже имеет отношения с поставщиками как с AWS, так и с Microsoft. Не говорю, что мы не будем использовать Confluent или переходить на него на каком-то этапе, но на данный момент Azure/AWS будет проще перейти границу).
Я нашел документ Microsoft, который подразумевает, что мы можем использовать концентраторы событий Azure с Kafka Connect, хотя AEH немного отличается от Kafka с открытым исходным кодом… не уверен в AWS Kinesis или MSK — я предполагаю, что MSK подойдет, но не уверен… любые рекомендации/блоги/статьи будут высоко оценены….
Овации,