Блог

Я полностью начинаю работать с хранилищем данных hbase, в настоящее время мы переносим внешнюю файловую систему hive в формат файла orc. За последние 2 года данные должны быть перенесены в таблицы hbase, я видел несколько подходов bulkload к использованию hcatalog и pig, но не формат файла orc. Не могли бы вы, пожалуйста, помочь мне или дать мне какое-нибудь предложение по этому вопросу? Здесь я также упомянул структуру схемы таблицы hive;

 CREATE EXTERNAL TABLE countTbl (
 client_id bigint,
 count1 bigint,
 inserted_at bigint,
count2 bigint,
 date_time bigint,
id_dic STRUCT<id1:array<STRING>,id2:array<BIGINT>>,
 partition_date string
)
partitioned by (primaryid string)
stored as orc
LOCATION 'hdfs://user/hadoop/countTbl'; 
 

hbase поддерживает только простой тип данных, поле вашей таблицы hive id_dic должно быть упрощено для сохранения в hfile вы можете использовать проект таблицы hive для hbase или bulkload в hbase