Блог

Я добавляю пользовательские метаданные в схему фреймов данных в своем приложении PySpark, используя StructField поле метаданных

Это прекрасно работало, когда я записывал файлы паркета непосредственно в s3. Пользовательские метаданные были доступны при чтении этих файлов parquet, как и ожидалось.

Но это не работает с использованием формата таблицы айсберга. Ошибки нет, но df.schema.fields.metadata она всегда пуста.

Есть ли способ решить эту проблему?

Решается, убедившись, что ключом всегда является «комментарий»

Например: {‘комментарий’: ‘my_metadata_info_field’}