#json #azure #blob #azure-data-factory #azure-data-factory-pipeline
#json #лазурь #капля #azure-фабрика данных #azure-фабрика данных-конвейер
Вопрос:
Внутри ADF я пытаюсь получить готовое содержимое запроса для API GraphQL (блок веб-активности), хранящегося в JSON где-то в большом двоичном объекте. Из-за требований к скорости мы не можем позволить себе просто запускать базы данных каждый раз.
Что можно сделать, чтобы получить содержимое, а не метаданные файла JSON, и сохранить его в переменной ADF, которая будет параметризовать дальнейшие блоки конвейера (путь к файлу известен, исправлен, и файл доступен через связанную службу)?
Комментарии:
1. может быть, кэширование Azure Redis-это вариант для вас? Просто чтобы исключить требование к скорости
Ответ №1:
Я бы выбрал создание базы данных SQL Azure с метаданными (базовая стоимость всего 5 долларов США в месяц). Его можно подключить по частной связи с фабрикой данных Azure. Это самый простой и быстрый способ. Вы просто сохраняете данные там, а затем заполняете параметры потока данных и т.д. Результатами из этой базы данных.