Блог

 spark.sqlContext.udf.register('dataSource', (data: scala.collection.mutable.WrappedArray$ofRef, ofType : String) => {

    var flag = ''
    try{
    val array: Seq[String] = data.flatten(x => Seq(x.toString()))
    array.foreach(s => if(s.contains(ofType)) { flag = ofType })
    }
    catch {
    println("Exception :"   x.getMessage)
    flag = ''
    }
    flag;

})
  

Не требуется преобразовывать этот код Scala в код Java. В Spark вы можете зарегистрировать UDF на любом из языков, а также использовать его либо в Java, либо в Scala, если он используется в том же SparkSession или контексте.