Блог

Всякий раз, когда я извлекаю данные из объекта Salesforce в Databricks, все столбцы в Databricks отображаются как строка типа. Но мне нужен тот же тип данных, который используется в Salesforce. Поэтому я пытаюсь использовать параметр inferSchema= true при загрузке. Но это не работает.

Ниже приведен запрос, который я использую для загрузки объекта Salesforce:

 val sfDF = spark.
                read.
                format("com.springml.spark.salesforce").
                option("username", "your_salesforce_username").
                option("password", "your_salesforce_password_with_secutiry_token"). //<salesforce login password><security token>
                option("soql", soql).   
                option("inferSchema", "true").  
                option("version", "48.0").
                load()
 

Я получаю следующее сообщение об ошибке:

 org.apache.spark.SparkException: Job aborted due to stage failure: Task 60 in stage 6231.0 failed 4 times, most recent failure: Lost task 60.3 in stage 6231.0 (TID 84032, 10.252.35.82, executor 99): java.lang.UnsupportedOperationException: Unexpected data type BooleanType
 

Есть ли какой-либо другой способ вывести схему при извлечении данных из объекта Salesforce в Databricks?
Любое предложение было бы очень полезным.