Эволюция схемы Apache Hudi

#schema #apache-hudi

#схема #apache-худи

Вопрос:

Может ли кто-нибудь поделиться правильным подходом к обработке изменений схемы в apache hudi? Пример: переименование столбца с col1 на col2 или изменение типа данных с long на int. (Pyspark)

Ответ №1:

hudi поддерживает совместимость со схемой avro, поэтому не поддерживает переименование и изменение с long на int (поддерживается int на long). И есть несколько дискуссий о поддержке полной эволюции схемы в сообществе.