Блог

Я создал файловую систему Azure Data Lake gen2 для хранения и восстановления данных. Я правильно загрузил свои данные (по одному файлу в день), но к тому времени, когда я захочу получить их с помощью Azure Data Lake gen2 Rest API, я смогу получить доступ только к одному файлу для каждого запроса, поэтому, если мне понадобится, например, один месяц, я должен выполнять запрос на каждый день и объединять его на моем локальном компьютере, в то время как было бы желательно делать это непосредственно в Azure Data Lake gen2.

Я знаю, что это можно сделать с помощью SparkSQL и подстановочных знаков в Databricks, но было бы лучше, если бы я мог использовать подстановочные знаки непосредственно в Azure Data Lake gen2 rest API. Я искал это, но я нашел документацию неясной. Все ли знают, возможно или нет, использовать что-то вроде подстановочных знаков в Azure Data Lake gen2 Rest API?

Заранее спасибо

Я думаю, вы говорите об объединении данных, и на данный момент я не думаю, что у нас есть существующий API, который делает это, но этого можно достичь с помощью того, что вы упомянули, а также с помощью U-SQL и ADF .