Spark Kotlin — создать пустой набор данных

#apache-spark #kotlin

#apache-spark #kotlin

Вопрос:

Я играю с Kotlin для Spark: https://blog.jetbrains.com/kotlin/2020/08/introducing-kotlin-for-apache-spark-preview /

и я пытаюсь создать пустой набор данных на основе класса данных:

 data class Company(val ticker:String)

val ds:Dataset<Company> = spark.createDataset() // <- don't know what to put in the brackets
 

Ответ №1:

Узнал сам:

   val emptyList:List<Company> = emptyList()
  var ds = emptyList.toDS(spark)
 

Ответ №2:

Более простым способом было бы:

 withSpark {
    val ds = dsOf<Company>()
}
 

или, что будет введено в версии 1.2.0:

 withSpark {
    val ds = emptyDataset<Company>()
}