#pyspark #aws-glue-spark
Вопрос:
Новичок в glue, я пытаюсь создать динамический кадр из Sparkdataframe и применить распаковку.
alertDF = is my Dataframe print(type(alertDF)) -gt; lt;class 'pyspark.sql.dataframe.DataFrame'gt; print("Creating dynamic data frame....") df1 = DynamicFrame.fromDF(alertDF, glueContext, "df1") print(type(df1)) --gt; lt;class 'awsglue.dynamicframe.DynamicFrame'gt; print("unboxing....") unbox = Unbox.apply(frame = df1, path = "data", format="json") #data is string json print("unboxing done, creating spark data frame....") print(type(unbox)) --gt;lt;class 'awsglue.dynamicframe.DynamicFrame'gt; unbox.printSchema() ####ERROR and timeout