Вопросы об использовании фабрики данных Azure

#azure #azure-data-factory-2

Вопрос:

Я новичок в Azure и изучаю все различные предлагаемые услуги. Просмотр фабрики данных Azure для обработки различных типов файлов, например. XLS, JSON, CSV, размер которых варьируется от 500 КБ до 5 МБ и содержит данные о заказе и сведения для существующей базы данных. Существует «значительный» объем сопоставления из одной структуры в другую со сложными иерархиями для конечных таблиц назначения(ов).

Вопросы:

  • Может ли фабрика данных Azure использоваться в подписке на разработку/тестирование
  • Я вижу, что вы можете создавать конвейеры ADF в VS 2019, но можете ли вы также отлаживать их?

Ответ №1:

  1. Обычно мы разделяем среды, создавая отдельные группы ресурсов, относящиеся к каждой среде. Dev RG : для теста Dev env RG : для теста Env UAT RG : для продукта UAT Rg : Для продукта

В Dev RG , поскольку это среда разработки ; создаваемые ресурсы имеют более низкие уровни для экономии затрат. Но в ADF нет концепции уровней, и стоимость зависит от выполнения трубопроводов, поэтому мы сохраняем трубопроводы отключенными в более низких подписках.

Итак, чтобы ответить, вы можете создать ADF в любых подписках и любых RGS, но обычно имя должно быть уникальным.

  1. Исходя из моего понимания в VS 2019, проект ADF предназначен для ADF v1, который находится на грани устаревания. В ADFV2 нет плагина для Visual Studio, большая часть усилий была приложена на стороне UX. MSFT рекомендует вам использовать пользовательский интерфейс ADF в качестве инструмента разработки, где вы можете легко определить свой рабочий процесс и проверить внесенные изменения.