Блог

У меня есть CSV-файлы, которые помещены в различные папки в контейнере для хранения больших двоичных объектов. Эти файлы будут сопоставлены с таблицей в базе данных, и мы будем использовать ADF для копирования данных в базу данных.

Цель состоит в том, чтобы управлять метаданными конвейера. У нас есть файл, содержащий JSON с подробной информацией о каждом исходном файле и таблице приемника.

 [
{
    "sourceContainer":"container1",
    "sourceFolder":"folder1",
    "sourceFile":"datafile.csv",
    "sinkTable":"staging1"
},
{
    "sourceContainer":"container1",
    "sourceFolder":"folder2",
    "sourceFile":"datafile2.csv",
    "sinkTable":"staging2"
}

]
 

A для каждого будет просматривать эти значения, помещать их в переменные и использовать их для загрузки соответствующей таблицы из соответствующего CSV.

Проблема в том, что для исходного набора данных CSV я не могу параметризовать исходный набор данных с помощью пользовательских переменных (поля, отмеченные красным крестиком на скриншоте ниже).

Был бы признателен за совет о том, как с этим справиться.

Эта функция определенно поддерживается, поэтому я не уверен, что вы подразумеваете под «невозможно параметризовать». Вот пример определения параметров:

И вот пример ссылки на них:

Я рекомендую вам использовать ссылку «Добавить динамическое содержимое» и конструктор выражений, чтобы получить правильную ссылку.

Если у вас возникла какая-то другая проблема, пожалуйста, опишите ее более подробно.