Блог

Я использую функциональность Databricks «CREATE TABLE USING», описанную здесь, используя что-то вроде следующего.

 create table value_set.value_set_meta 
using csv 
options ( 
  header = "true", 
  delimiter = ",", 
  inferSchema = "false", 
  path = "/FileStore/tables/prod/global/value_set_meta" 
) 
 

Я хотел бы знать, есть ли возможность обрезать пробелы из всех столбцов (и / или для определенных столбцов). Где перечислены и задокументированы разрешенные здесь варианты?

Бьюсь об заклад, варианты

 ignoreLeadingWhiteSpace = "true",
ignoreTrailingWhiteSpace = "true",
 

потому что другие параметры выглядят так похоже на те, которые задокументированы в pyspark csv reader. Однако не уверен, возможно ли обрезать пробелы из определенных столбцов.