#json #scala #apache-spark #apache-spark-sql
Вопрос:
У меня есть фрейм данных Scala Spark, в котором есть столбец строки json (с именем Json_string). Каждая строка может иметь другую схему. (Динамическая Схема)
Я хочу создать новый столбец в кадре данных после извлечения значения вложенного ключа из строк, в которых присутствует вложенный ключ.
Пример строки столбца Json_string :
«{«random_unknown_parent_key»: {«required_known_key» = «значение», «other_known_key» = «значение»}}»
Я знаю, что если бы я знал родительский ключ, я мог бы просто извлечь его с помощью
df.withColumn("known_key", get_json_object(col("Json_string"), "$.parent_key.required_known_key"))
Но как я могу действовать, если я не знаю имени родительского ключа.
Если есть какой-то способ извлечь значение первого/родительского ключа из всех строк без указания имени ключа, это было бы действительно полезно.