Блог

В настоящее время я пытаюсь найти назначение metadata атрибута объекта StructField в Spark.

Я просмотрел официальную документацию https://spark.apache.org/docs/latest/api/python/pyspark.sql.html ?выделите=structfield#pyspark.sql.types.StructField

Но я все еще не понимаю назначения этой переменной. Я имею в виду, могу ли я, например, установить параметр первичного ключа благодаря metadata ? Если да, как должен выглядеть этот dict?

Или, в более общем плане, какова его цель и как его использовать?

Я тоже не совсем уверен, но я знаю, что вы можете поместить туда строки документации. И тогда вы можете выполнять все свои выборки, и пока вы продолжаете копировать столбец (без выражений), метаданные могут быть извлечены без изменений. Это полезно для создания автоматизированной документации по моим вычисляемым таблицам.