Блог

В настоящее время мне требуется синхронизировать данные из apache direcotry ldap с любой из баз данных RDBMS (MySQL, PostgreSQL). На данный момент каталог содержит примерно несколько миллионов записей и может увеличиться в будущем. На данный момент каталог Ldap является основным источником данных, но мотив заключается в том, чтобы иметь данные в реальном времени как в Ldap, так и в RDBMS, поскольку у нас есть план использовать RDBMS для целей аналитики в реальном времени.

Вариант 1: подумываю об использовании потока данных spring cloud. Исходное загрузочное приложение spring для чтения данных ldap, которые были изменены после последнего запуска синхронизации. Исходное приложение помещает данные в очередь (пока RabbitMQ). Sink — это еще одно загрузочное приложение spring, которое собирает данные непосредственно из очереди и сохраняет их в RDBMS. Мы сможем лучше отслеживать задания процесса синхронизации и управлять ими, используя предложения spring cloud data flow dashboard.

Вариант 2: Spring LdapTemplate помогает нам взаимодействовать с каталогом ldap в нашем приложении. Одним из подходов было бы перехватывать вызовы LdapTemplate везде, где это применимо, и помещать данные в очередь, а затем промежуточное приложение считывает данные из очереди (RabbitMQ) и преобразует ответ ldap в требуемый формат, который может быть обновлен в RDBMS DB.

Я новичок в потоке данных Ldap и spring cloud. Пока у меня есть только эти 2 подхода, учитывая существующую технологию моего проекта и системный ландшафт. Любые другие предложения / подход действительно приветствуются. Заранее спасибо.

Еще один подход, если LDAP является сервером Microsoft ad, то создание службы Windows на C #, которая будет подключаться к вашему серверу LDAP и получать данные каждый день и отправлять данные в вашу rdbms через сокет-соединение. Который является надежным и последовательным.