Блог

Я хочу отправить журналы AWS CloudWatch в Kafka и пытаюсь найти наилучшую архитектуру для достижения этой цели.

Один из подходов, о котором я думал, заключается в том, чтобы -> Подписаться на групповые события журнала в cloud watch, выбрав log group и нажав Action -> Stream to AWS Lambda и выбрать лямбду, которая будет передавать данные в Kafka.

Поэтому мне, возможно, придется написать какую-нибудь функцию Java / Python для записи журналов в Kafka из Lambda. Однако я не уверен, что это правильный дизайн.

Рассматривали ли вы возможность использования CloudWatch Logs Source Connector для Kafka Connect? Это должно быть довольно просто в использовании и не требует написания кода (к сожалению, я использовал только jdbc connectors, поэтому я не могу точно сказать, насколько сложно его настроить).