#json #azure #azure-data-factory #azure-data-lake
#json #azure #azure-data-factory #azure-data-lake
Вопрос:
Для тестового примера я вручную загрузил тестовый файл json в мое озеро данных Gen2. При отладке моего потока данных на фабрике данных предварительный просмотр данных выдает следующую ошибку:
в источнике ‘testJson’: идентификатор отсутствующего столбца ‘
Я проверил правильность json, и, похоже, все в порядке. Файл находится в формате UTF-8.
Это мой тестовый файл:
[{«id»: «590cf», «updated_at»:»1592228694942″}, {«id»: «590d3», «updated_at»:»1592228694942″}, {«id»: «590d4», «updated_at»:»1592228694942″}, {«id»: «590d5», «updated_at»: «1592228694942»} , {«id»: «590d6», «updated_at»:»1592228694942″}, {«id»: «590d7», «updated_at»:»1592228694942″}, {«id»: «590d8», «updated_at»:»1592228694942″}]
Есть идея? Может ли это быть ошибкой в ADF?
Согласно комментарию, я также дополнительно обработал данные в CSV. Я не вижу никакой проблемы.
Это несколько скриншотов моего конвейера:
Комментарии:
1. Если вы используете операцию копирования из вашего JSON в файл CSV с включенным автоматическим сопоставлением столбцов, каковы результирующие столбцы? Возможно, поскольку у вас в файле есть массив объектов, вам нужно немного по-другому ссылаться на столбцы
2. Привет @iamdave. Я добавил результат конвейера копирования, где я сохраняю данные в файл CSV. Этот конвейер успешно работает.
3. Для дальнейшей отладки потребуется просмотреть несколько скриншотов вашего потока данных
4. Привет @Matzka, вы имеете в виду, что при предварительном просмотре данных ошибка в потоке данных, и она хорошо работает при активном копировании? Импортируете ли вы схему в потоке данных? Я попробовал, и у меня не было никакой ошибки.
5. @Leon: Я получаю ошибку при попытке получить данные с помощью «Предварительного просмотра данных», но я также получаю эту ошибку при запуске всего конвейера в режиме отладки или при запуске всего конвейера в целом. Дополнительный тестовый конвейер с csv, предложенный iamdave, работает нормально.