Получение ошибки при сортировке или разбиении столбца из базы данных AWS glue

#python #amazon-web-services #pyspark #hive #aws-glue

Вопрос:

Произошла ошибка при вызове o88.collectToPython. org.apache.parquet.столбец.значения.словарь.PlainValuesDictionary$PlainIntegerDictionary

 raw_customers = glueContext.create_dynamic_frame.from_catalog(database = "postgresql_processed", table_name = "prodplfm_plf_customers").toDF()
cashe_customer=raw_customers.select('process_date').sort("process_date", ascending=False).limit(1).collect()[0][0]