#azure-data-factory-2 #azure-data-lake-gen2
#azure-data-factory-2 #azure-data-lake-gen2
Вопрос:
У меня Application Insights настроен период хранения журналов в три месяца, и я хочу загружать их с помощью конвейеров фабрики данных, запланированных ежедневно, в хранилище Data Lake Gen 2. Цель этого — не потерять данные по истечении срока хранения и сохранить данные для будущих целей — в основном для машинного обучения и создания отчетов.
Я пытаюсь решить, какой формат использовать для хранения этих данных, из множества форматов, доступных в Data Lake Gen 2, поэтому, если у кого-то есть похожий дизайн, любая информация или ссылки на документацию будут более ценными.
Ответ №1:
По моему опыту, большинство файлов журналов .log имеют формат файлов. Если мы хотим сохранить тип файла и переместить их в Data Lake Gen 2, пожалуйста, используйте двоичный формат. 
Двоичный формат может помочь вам переместить всю папку / подпапку и все файлы в другое место назначения.
HTH.
Комментарии:
1. Спасибо, Леон, но App Insights возвращает файл JSON. На данный момент я загружаю данные App Insights в виде ежедневных файлов JSON в структуре {AppInsights_Container} {entity} {year} {Month} {entity}_{гггг_мм_дд}.JSON, куда файлы JSON экспортируются ежедневно. Я все еще открыт для лучших способов сделать это — Data Lake Gen 2 обладает множеством функций, поэтому я думаю, что легко упустить лучший вариант реализации.
2. @Maus, я понял. Поскольку App Insights возвращает файл JSON, формат JSON является первым выбором. Но использование двоичного формата может помочь вам переместить всю папку / подпапку и все файлы в озеро данных Gen 2. Я думаю, ключ в том, что может сделать Data Factory, а не в функции Data Lake Gen 2
3. Привет @ Maus, у вас есть какие-либо другие проблемы?