Блог

Согласно документации, вы должны иметь возможность указать пользовательский шаблон для разделов разделов внешних таблиц. Однако я не могу заставить его работать: select * from rawlog_test7 limit 10; не возвращает записей.

Это то, что я делаю

 set hcat.dynamic.partitioning.custom.pattern="${year}/${month}/${day}/${hour}"
  

Я создаю свою таблицу с
помощью …

 partitioned by (year int, month int, day int, hour int)

location '/history.eu1/ed_reports/hourly/';
  

и моя структура каталогов ../2014/06/18/13/ ...

Если я использую статические разделы

    alter table rawlog_test7 add partition (year=2014,month=6,day=18,hour=13) location '/history.eu1/ed_reports/hourly/2014/06/18/13';
  

это работает ( select * from rawlog_test7 limit 10; возвращает записи!)

Может быть, я смогу прояснить некоторые вещи о том, как работают разделы улья:

Раздел состоит из двух компонентов: его каталога в файловой системе и записи в метасторе Hive. По сути, эта запись представляет собой просто пару (значения разделов, расположение разделов).

Когда вы создаете кустовую таблицу, в ней нет записей разделов в метасторе.

Когда вы запрашиваете куст, он проверяет метахранение на наличие разделов, которые ему нужно было бы запросить, а затем сканирует их.

Куст автоматически не обнаруживает разделы в файловой системе для добавления записей метахранилища.

«Динамическое разбиение» относится к способности Hive создавать разделы как в файловой системе, так и в метахране на основе столбца данных при вставке в разделенную таблицу Hive, т. Е. Выполнении фактической insert into table rawlog_test7 partition(y,m,d,h) ... команды.

Если у вас есть каталоги в файловой системе, в которых еще нет записей метахранилища, вы можете добавлять их один за другим, как вы делали:

 alter table rawlog_test7 add partition (year=2014,month=6,day=18,hour=13) location '/history.eu1/ed_reports/hourly/2014/06/18/13';
  

Или вы можете запустить восстановление таблицы:

 msck repair table rawlog_test7;
  

Хотя я не тестировал последний с пользовательским шаблоном разбиения.