#azure #azure-cosmosdb #azure-data-lake
Вопрос:
У меня есть данные, которые необходимо переместить из озера данных Azure в cosmosdb. Данные небольшие, возможно, <1000 записей в день. Размер каждой записи может составлять <5 КБ. Мне нужно, чтобы эти данные были экспортированы из озера данных Azure и импортированы в cosmosdb в качестве временного задания. Данные следует перемещать 1 раз в день. В идеале это можно было бы настраивать до нескольких раз в день. Прямо сейчас я рассматриваю возможность использования функционального приложения для запуска по расписанию и выполнения этого экспорта / импорта. Однако это кажется неправильным. Я чувствую, что должен быть лучший способ сделать это. Каков правильный способ решения этой проблемы?
Комментарии:
1. Я просматривал фабрику данных Azure, но это также кажется излишним, поскольку это инструмент ETL. Мне просто нужны E и L без T. Извлеките и загрузите в cosmos.
2. Фабрика данных — это то, что вы ищете. Его также легко настроить, так как в нем меньше кода. Просто потому, что это ETL, не означает, что это неправильно, если вы не выполняете никаких преобразований.
3. Есть ли способ сделать это без фабрики данных? Что было бы очень мило, так это если бы механизм запуска событий можно было настроить так, чтобы событие выдавалось каждый раз, когда в интересующую меня таблицу добавлялись новые записи. Тогда я мог бы пойти и получить эту конкретную запись. Возможно ли это?
4. вы можете попробовать этот шаблон, дельта-копирование из базы данных с контрольной таблицей , или вы можете перейти в «инструмент копирования данных», чтобы получить конвейер, который использует запланированное время запуска в качестве переменной для чтения новых строк только из исходной базы данных. оформить снип
Ответ №1:
Вы можете использовать инструмент копирования данных с заданием расписания для source : Озера данных Azure и sink : CosmosDB
См.: Инструмент копирования данных
