Блог

Есть ли способ сгладить следующий довольно неудобный тип объекта JSON в Azure Data Factory (V2)? Ключи верхнего уровня в данных представляют динамически генерируемые даты, которые различаются в каждом файле. Следовательно, схема дрейфует.

Я хотел бы сгладить данные, развернув members массив под каждым ключом даты. Пожалуйста, смотрите Пример ввода и желаемый результат ниже.

Я не нашел способа добиться этого в потоке картографических данных. Операция сглаживания, похоже, не работает, поскольку схема не может быть определена, и я разворачиваю не один массив, а несколько. Моя вторая попытка состояла в том, чтобы использовать Unpivot для переноса каждой даты в строку, а затем сглаживания, но, похоже, сложный тип не поддерживается для непривитых значений.

Входной образец

 {
  "2021-01-01": {
    "total": 30,
    "members": [
      {
        "name": "foo",
        "value": 10
      },
      {
        "name": "bar",
        "value": 20
      }
    ]
  },
  "2021-01-02": {
    "total": 70,
    "members": [
      {
        "name": "foo",
        "value": 30
      },
      {
        "name": "john",
        "value": 40
      }
    ]
  }
}
 

Желаемый табличный результат

Может быть, вы можете попробовать это:

Сгладьте свой массив JSON members 2021-01-01 и 2021-01-02 отдельно. Затем используйте DerivedColumn преобразование, чтобы добавить дату в качестве столбца. Наконец, объедините ваши данные в два потока.

Но для этого вам нужно создать несколько ветвей. Если у вас много данных объекта date, это будет сложно.