Блог

Я построил конвейер adf в Azure, который принимает данные из CRM в виде файлов json. Затем я преобразую эти файлы json в структурированные паркетные файлы с помощью Python Notebook в databricks, а затем загружаю эти паркетные файлы в базу данных SQL Azure. Этот процесс отлично работает для большинства файлов, за исключением пары. Есть несколько столбцов/полей, которые выдают сообщение об ошибке, поскольку тип данных не является примитивным для базы данных SQL Azure. Это поля массива (список значений). Я попытался использовать функцию замены в Python, чтобы избавиться от квадратных скобок и двойных кавычек, думая, что массив станет строковым типом данных, но функция выдает сообщение об ошибке, в котором говорится, что она не может преобразовать массив в строку. Существует ли потенциальное решение для преобразования этих непримитивных данных в примитивные, чтобы они могли стать приемлемыми для базы данных SQL Azure ? Я прикрепил необработанный файл json, а затем преобразованный структурированный файл с использованием Python. Необработанный файл json

Json преобразуется в структурированные данные, однако поле непримитивного массива выделяется