#apache-spark #pyspark #spark-dataframe
#apache-spark #пайспарк #spark-фрейм данных
Вопрос:
У меня есть следующие два фрейма данных PySpark:
> df_lag_pre.columns
['date','sku','name','country','ccy_code','quantity','usd_price','usd_lag','lag_quantity']
> df_unmatched.columns
['alt_sku', 'alt_lag_quantity', 'country', 'ccy_code', 'name', 'usd_price']
Теперь я хочу объединить их в общие столбцы, поэтому я попробую сделать следующее:
> df_lag_pre.join(df_unmatched, on=['name','country','ccy_code','usd_price'])
И я получаю следующее сообщение об ошибке:
AnalysisException: u'resolved attribute(s) price#3424 missing from country#3443,month#801,price#808,category#803,subcategory#804,page#805,date#280,link#809,name#806,quantity#807,ccy_code#3439,sku#3004,day#802 in operator !EvaluatePython PythonUDF#<lambda>(ccy_code#3439,price#3424), pythonUDF#811: string;'
Некоторые столбцы, которые отображаются при этой ошибке, такие как цена, были частью другого фрейма данных, из которого df_lag был построен. Я не могу найти никакой информации о том, как интерпретировать это сообщение, поэтому буду очень признателен за любую помощь.
Комментарии:
1. А что является источником
!EvaluatePython PythonUDF? Не могли бы вы привести минимальный пример кода?2. Кажется, есть проблема в происхождении df_lag_pre. Если бы вы могли предоставить полный набор преобразований, мы могли бы исправить проблему.
Ответ №1:
Вы можете выполнить join таким образом в pyspark, пожалуйста, посмотрите, полезно ли это для вас:
df_lag_pre.alias("df1")
df_unmatched.alias("df2")
join_both = df1.join(df2, (col("df1.name") == col("df2.name")) amp; (col("df1.country") == col("df2.country")) amp; (col("df1.ccy_code") == col("df2.ccy_code")) amp; (col("df1.usd_price") == col("df2.usd_price")), 'inner')
Обновление: если вы получаете ошибку col not defined, пожалуйста, используйте ниже import
from pyspark.sql.functions import col
Комментарии:
1. Вы можете использовать: из pyspark.sql.functions импортируйте col, а df1 — это имя псевдонима. Нет необходимости определять и df_lag_pre и df_unmatched уже определены. Надеюсь, это поможет!