Могут ли все встроенные функции Spark SQL использоваться непосредственно в фрейме данных без выполнения spark.sql(«оператор sql во временном представлении»)?
#pyspark #apache-spark-sql Вопрос: Приведенный ниже код работает from pyspark.sql.functions import expr df = spark.createDataFrame([(2020, 6, 26), (1000, 2, 29), (-44, 1, 1)],['Y', 'M', 'D']) df.select("*",expr("make_date(Y,M,D) as lk")).show() Приведенный ниже код…