Блог

Я хочу преобразовать JSON с массивом в формат csv. Количество элементов внутри массива является динамическим для каждой строки. Я пытался использовать этот поток (прикрепил файл потока xml к сообщению).

GetFile —> ConvertRecord —> UpdateAttribute —> PutFile

Есть ли другие альтернативы?

Формат JSON:

 {  "LogData": {
"Location": "APAC",
"product": "w1"  },  "Outcome": [
{
  "limit": "0",
  "pri": "3",
  "result": "pass"
},
{
  "limit": "1",
  "pri": "2",
  "result": "pass"
},
{
  "limit": "5",
  "priority": "1",
  "result": "fail"
}  ],  "attr": {
"vers": "1",
"datetime": "2018-01-10 00:36:00"  }}
  

Ожидаемый результат в формате csv:

 location,   product,    limit,  pri,    result, vers,   datetime
APAC        w1          0       3       pass    1       2018-01-10 00:36:00
APAC        w1          1       2       pass    1       2018-01-10 00:36:00
APAC        w1          5       1       fail    1       2018-01-10 00:36:00
  

Вывод из подключенного потока:
Данные журнала, результат, attr
«MapRecord[{product= w1, Location= APAC}]»,»[MapRecord[{limit=0, result=pass, pri=3}], MapRecord[{limit=1, result=pass, pri=2}], MapRecord[{limit=5, result=fail}]]», «MapRecord[{datetime=2018-01-10 00:36:00, vers =1}]»

ConvertRecord — я использую конфигурации JSONTreereader и CSVRecordSSetwriter, как показано ниже:

Конфигурация службы контроллера JSONTreereader: Конфигурация службы контроллера CSVRecordSetwriter: Конфигурация службы контроллера AvroschemaRegistry:

Схема Avro: { «имя»: «myschema», «тип»: «запись», «пространство имен»: «myschema», «поля»: [{«имя»: «LogData», «тип»: { «имя»: «LogData», «тип»: «запись», «поля»: [{ «имя»: «Местоположение», «тип»: «строка»},{ «имя»: «продукт», «тип»: «строка»}] }},{«имя»: «Результат»,»тип»: { «тип»: «массив», «элементы»: {«имя»: «Итоговая запись», «тип»: «запись», «поля»: [ {«имя»: «ограничение», «тип»: «строка»}, {«имя»: «pri»,»тип»: [«строка»,»null»]}, {«имя»: «результат»,»тип»: «строка» }] }}},{«имя»: » attr», «тип»: { «имя»: «attr», «тип»: «запись», «поля»: [{ «имя»: «верс», «тип»: «строка»},{ «имя»: «дата-время», «тип»: «строка»} ]}} ]}

Попробуйте эту спецификацию в JoltTransformJSON перед ConvertRecord:

   {
    "operation": "shift",
    "spec": {
      "Outcome": {
        "*": {
          "@(3,LogData.Location)": "[#2].location",
          "@(3,LogData.product)": "[#2].product",
          "@(3,attr.vers)": "[#2].vers",
          "@(3,attr.datetime)": "[#2].datetime",
          "*": "[#2].amp;"
        }
      }
    }
  }
]```
  

Кажется, что вам нужно выполнить JoltTransform перед преобразованием в CSV, если нет, это не сработает.