Блог

Главная - Вопросы по программированию - Сжатие куста RC-таблиц

Сжатие куста RC-таблиц

#hadoop #hive #compression

#hadoop #улей #сжатие

Вопрос:

Я пытаюсь сжать RC-таблицу, чтобы создать ее следующим образом:

 create table rc_test(
   a string,
   b string)
stored as rcfile

У меня есть еще один паркетный стол, и я сделал это с помощью:

 alter table parquet_test set tblproperties ("parquet.compression"="snappy");

Что такое таблица tblproperties for RC?

Комментарии:

1. По какой-либо причине вы используете RCFILE, а не ORC? Вы используете Impala?

Ответ №1:

Вы можете установить эти свойства в том же сеансе перед вставкой перезаписать таблицу в кусте: 

 SET hive.exec.compress.output=true;
SET mapred.output.compression.type=BLOCK;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;