#python #pandas #pyspark #pyspark-sql
#python #панды #pyspark #pyspark-sql
Вопрос:
Я не могу видеть результаты агрегатной функции в pyspark dataframe с функцией отображения. Я вычисляю асимметрию только для одного столбца за раз
from pyspark.sql import functions as f
val1 = [(20,100),(100,100),(50,100),(0,100),(0,100),(0,0),(0,50),(0,100),(0,20)]
cols = ['val1','val2']
tf = spark.createDataFrame(val1, cols)
display(tf.select(f.skewness(tf['val1']),f.skewness(tf['val2'])))
Это дает мне следующий результат
DataFrame[skewness(val1): double, skewness(val2): double]
Я знаю, поскольку это агрегатная функция, которую я могу использовать
tf.agg(f.skewness('val1')).show()
но я хочу использовать функцию отображения, но она становится пустой. Какие-либо подсказки?
Комментарии:
1. Где вы запускаете этот код?
2. Записная книжка Jupyter
3. Я могу видеть результат даже с вашим кодом, с помощью самой функции отображения. Я работаю на том же ноутбуке Jupyter в облаке данных.