#scala #apache-spark #dataframe #metastore
#scala #apache-spark #фрейм данных #metastore
Вопрос:
Я записываю один раздел с помощью некоторого внешнего процесса в таблицу. Теперь я хочу, чтобы какой-нибудь API добавлял эти разделы в metastore.
Я знаю, что приведенный ниже sql может быть выполнен как рабочий arrount
Alter table <table_name> ADD PARTTION <PARTITIONS>
Я ищу какой-нибудь Scala dataframe API для использования.
Комментарии:
1. Вы хотите создать только раздел или хотите перенести данные в новый раздел?
2. Разделы содержат некоторые файлы в формате parquet. Я хочу, чтобы какой-нибудь API, подобный приведенному выше sql, добавлял эти разделы в meta store.
3. Spark DataFrame API не имеет концепции Hive (или metastore). Единственным способом сделать это было бы запустить указанный sql через HiveContext.