Фильтрует вложенную структуру JSON и получает имена полей в качестве значений в Pyspark

#python #apache-spark #pyspark #apache-spark-sql #pyspark-dataframes #python #apache-spark #pyspark #apache-spark-sql #pyspark-фреймы данных Вопрос: У меня есть следующие сложные данные, которые хотелось бы проанализировать в PySpark: records = '[{"segmentMembership":{"ups":{"FF6KCPTR6AQ0836R":{"lastQualificationTime":"2021-01-16 22:05:11.074357","status":"exited"},"QMS3YRT06JDEUM8O":{"lastQualificationTime":"2021-01-16 22:05:11.074357","status":"realized"},"8XH45RT87N6ZV4KQ":{"lastQualificationTime":"2021-01-16 22:05:11.074357","status":"exited"}}},"_aepgdcdevenablement2":{"emailId":{"address":"stuff@someemail.com"},"person":{"name":{"firstName":"Name2"}},"identities":{"customerid":"PH25PEUWOTA7QF93"}}},{"segmentMembership":{"ups":{"FF6KCPTR6AQ0836R":{"lastQualificationTime":"2021-01-16…