Блог

Как объединить ниже 2 записей в одну строку с помощью потоков данных Azure

Требуемая производительность

Предполагая NULL , что значения будут храниться в пустых столбцах, вы можете просто использовать max функцию в aggregate действии для достижения ожидаемого поведения.

Тестовый пример, который я использовал, встроенный набор данных:

 SELECT 1234 AS accountNumber, 'Home' AS phoneType, '989 324 1234' AS homeNumber, null AS mobileNumber UNION ALL SELECT 1234 AS accountNumber, 'Mobile' AS phoneType, null AS homeNumber, '9893238893' AS mobileNumber  

Стадия агрегирования:

Результат предварительного просмотра данных:

Полный json для потока данных:

 {  "name": "dataflow1",  "properties": {  "type": "MappingDataFlow",  "typeProperties": {  "sources": [  {  "linkedService": {  "referenceName": "azuresqluat1",  "type": "LinkedServiceReference"  },  "name": "source1"  }  ],  "sinks": [],  "transformations": [  {  "name": "Aggregate1"  }  ],  "script": "source(output(nttaccountNumber as integer,nttphoneType as string,ntthomeNumber as string,nttmobileNumber as stringnt),ntallowSchemaDrift: true,ntvalidateSchema: false,ntformat: 'query',ntstore: 'sqlserver',ntquery: 'SELECT 1234 AS accountNumber, \'Home\' AS phoneType, \'989 324 1234\' AS homeNumber, \'\' AS mobileNumber\nUNION ALL\nSELECT 1234 AS accountNumber, \'Mobile\' AS phoneType, \'\' AS homeNumber, \'9893238893\' AS mobileNumber',ntisolationLevel: 'READ_UNCOMMITTED') ~gt; source1nsource1 aggregate(groupBy(accountNumber),nthomeNumber = max(homeNumber),nttmobileNumber = max(mobileNumber)) ~gt; Aggregate1"  }  } }