Добавление динамического столбца в действие копирования фабрики данных azure

#azure-data-factory-2

Вопрос:

Я использую поток данных в своем конвейере фабрики данных Azure для копирования данных из одной коллекции cosmos db в другую коллекцию cosmos db. Я использую cosmos SQL Api в качестве исходных и приемных наборов данных.

Проблема в том,что при копировании документов из одной коллекции в другую я хотел бы добавить дополнительный столбец, значение которого будет таким же, как у одного из существующих ключей в json. Я пытаюсь использовать дополнительный столбец в настройках источника, но я не могу понять, как я могу добавить туда существующее значение столбца. кто-нибудь может помочь в этом_

Ответ №1:

В случае копирования вы можете присвоить существующее значение столбца новому столбцу в разделе Дополнительный столбец, указав значение как $$COLUMN и добавив имя столбца, которое будет присвоено.

введите описание изображения здесь

Если вы добавляете новый столбец в поток данных, вы можете сделать это с помощью производного столбца

введите описание изображения здесь

введите описание изображения здесь

Комментарии:

1. я сделал это, но копирование происходит очень медленно, и я получаю ошибку тайм-аута. в чем должна быть причина.

2. Попробуйте увеличить размер записи, это повысит производительность.

3. Какое значение я должен придавать этому. прямо сейчас это пустое

4. и если я использую поток данных, он очень быстрый, но не могу использовать поток данных, так как он отклоняется от моей схемы на выходе

5. Это зависит от ваших данных, эта ссылка может помочь.