Возможно ли отправить объект класса case в spark sql?

#scala #apache-spark

#scala #apache-искра

Вопрос:

 val ISVALID = (data : String , dataTypeFormat : String) =gt; {  try{  if(data == null || data.isEmpty){  false  }else{  **val dataType = parse(dataTypeFormat).extract[DataType]**  PatternMatcher.getPatternMatcher(dataType.baseType).isValid(data,dataType)  }  }catch {  case e: Exception =gt; false  } }  

вот моя строка кода № 6 Тип данных — это объект класса case в моем udf, я просто всегда преобразую строку dataTypeFormat(которая одинакова для каждого столбца) в класс case типа данных. Это занимает больше времени при преобразовании объектов класса case. Пожалуйста, помогите мне избежать этих вещей в моем коде.