Блог

Почему поток данных фабрики данных azure автоматически добавляет новую строку в выходной файл? Можно ли это удалить или есть какие-то настройки для настройки? Смотрите скриншот первого изображения.

выходной файл

У меня есть только 1 строка/запись, когда я просматриваю данные.

предварительный просмотр данных приемника

Извините, я должен удалить/размыть данные.

Я пытался опровергнуть этот сценарий, и вы правы. Это происходит в некоторых типах файлов. Такие, как я вижу в .CSV и двоичных файлах.

Я знаю, что при использовании двоичного набора данных ADF не анализирует содержимое файла, а обрабатывает его как есть, и вы можете копировать только из двоичного набора данных в двоичный набор данных.

А предварительный просмотр данных-это снимок ваших преобразованных данных с использованием ограничений строк и выборки данных из фреймов данных в памяти Spark. Таким образом, драйверы приемника не используются и не тестируются в этом сценарии. При предварительном просмотре отображается ограниченное количество строк, а количество столбцов, показанных в предварительном просмотре, взято из первой строки файла.

Я вижу это так, как показано ниже:

Выходной файл из приемника в редакторе предварительного просмотра ADF в контейнере для хранения:

Вы также можете подтвердить это, посмотрев на вкладку проверка

Я также попытался загрузить выходной файл в локальный и открыть его с помощью разных редакторов, чтобы подтвердить поведение (новая строка » 16 » была добавлена автоматически).

Обходной путь: Вместо этого вы можете попробовать использовать разделенный текст в качестве исходного набора данных или Json в качестве набора данных приемника.

Пожалуйста, поделитесь своими отзывами с группой продуктов, чтобы они могли разобраться в этом.

Аналогичная Обратная Связь: https://feedback.azure.com/forums/217298-storage/suggestions/40268644—preview-file-in-blob-container-vs-edit