Блог

В потоке данных сопоставления Azure теперь у нас есть возможность сохранять файлы в формате дельта. Но это доступно только тогда, когда мы выбираем встроенный набор данных (без подписки на блоки данных). И когда набор данных приемника является встроенным набором данных, он не позволяет устанавливать раздел на основе какого-либо столбца.

Я могу написать код pyspark, чтобы переписать дельта-таблицу с требуемым разделом. Но это повлечет за собой дополнительные расходы.

Какие могут быть обходные пути для получения хорошей производительности при обработке дельта-данных?

Возникла проблема с пользовательским интерфейсом, которая недавно была исправлена командой инженеров. Пока это не отразится на вашем конце.

Вы можете сделать следующее в качестве обходного пути :

Вариант 1 :

Вы можете изменить тип приемника на что-то другое, например, приемник текста с разделителями, и затем вы должны увидеть ключевые столбцы в разделении ключей. Затем переключите тип раковины обратно на Delta.

Ссылка : https://docs.microsoft.com/en-us/answers/questions/599075/index.html

Вариант 2: Вы можете включить разделение на исходном конце.

Секционированные данные текли как поток. В результате мне удалось получить секционированные данные