#sql #apache-spark #pyspark #apache-spark-sql #pyspark-sql
#sql #apache-spark #pyspark #apache-spark-sql #pyspark-sql
Вопрос:
Я создал таблицу spark SQL, как показано ниже, с помощью Azure Databricks:
create table sample1(price double)
Фактический файл содержит данные типа ‘abc’ вместо двойного значения.
При вставке 'abc' строкового значения в double столбец он принимает as NULL без каких-либо сбоев. Меня беспокоит, почему мы не получаем никаких ошибок? В этом случае я хочу получить сообщение об ошибке.
Пожалуйста, дайте мне знать, если я что-то упустил. Я хочу отключить неявное преобразование типов данных.
Комментарии:
1. Ну, это может зависеть от вашего кода, как обрабатывается эта ошибка. Но поскольку вы не предоставили ни одной строки своей реализации, довольно сложно обнаружить ошибку
2. На самом деле у меня есть моя целевая таблица с двойным столбцом цены в качестве типа данных. У меня есть мои фактические данные в другой таблице без inferschema, поэтому я могу получить значение ‘abc’ в столбце цены. Теперь проблема в том, что при вставке фактических данных в мою целевую таблицу в автоматическом режиме были получены неправильные данные ‘abc’ как ‘null’. В этом случае я хочу принудительно выполнить сбой. Это просто, как «Вставить в выбранный столбец», который я использую.
3. Если вы хотите, чтобы вставка завершилась неудачно, вам, возможно, придется написать для этого некоторый код.
4. Не могли бы вы сказать мне, что это за код? Это не приведет к сбою, как Microsoft sql server или другие системы баз данных?
5. Ну, как вы на самом деле что-то импортируете? Задействован ли какой-либо код?