Spark StructType ПРОТИВ класса Case

#scala #apache-spark #apache-spark-sql

#scala #apache-spark #apache-spark-sql

Вопрос:

Я понимаю, что Case Class это минимальные обычные классы и StructType это тип данных spark, который представляет собой набор StructFields .

Но мы можем использовать оба Case Class и StructType для создания фреймов данных и других вариантов использования аналогичным образом.

Хотел понять

  • в каких сценариях мы должны предпочесть один другому и ПОЧЕМУ?
  • Существуют ли какие-либо сценарии, в которых мы должны использовать один из них, а другой невозможно использовать?

Комментарии:

1. Посмотрите это видео с Всемирной конференции Scala: youtube.com/watch?v=zXipqCcVmQM и youtube.com/watch?v=LafWXI37mcw

Ответ №1:

Нет реального аспекта, который определяет, какой из них лучше сейчас.

Case было ограничение в 22 поля, но это уже не так.

Мне кажется, что case с этим легче работать, чем с определением структур. Ответьте на фреймы данных irt.