#python #amazon-web-services #pyspark #apache-spark-sql #aws-glue-spark
#питон #amazon-веб-сервисы #пыспарк #apache-spark-sql #aws-клей-искра
Вопрос:
Это код, который я использую для сопоставления значений из csv в таблицу в sql в aws glue.
mappings=[ ("houseA", "string", "villa", "string"), ("houseB", "string", "small_house", "string"), ("houseA" "houseB", "string", "combined_key", "string"), ], Я не нахожу проблем с отображением столбцов HouseA и HouseB в столбцы «вилла» и «маленький дом» соответственно. Но когда я пытаюсь разместить houseAhouseB в столбце «combined_key», это выдает мне эту ошибку.
Произошла ошибка при вызове o128.pyWriteDynamicFrame. Не удается вставить значение NULL в столбец ‘combined_key’, таблица ‘dbo.Здания’; столбец не допускает нули. ВСТАВИТЬ не удается.
Я не мог понять, почему он выдает нулевую ошибку.
Есть какие-нибудь идеи о том, как можно изменить код?
Заранее спасибо.
Комментарии:
1. 1. ‘дбо. Здания » — вы можете показать таблицу структуры? Спасибо.
Ответ №1:
На самом деле я обнаружил, что в glue studio доступно пользовательское преобразование, в котором мы можем достичь этого с помощью кода pyspark