Блог

Привет 🙂 Я готовлюсь переместить все данные из 1 таблицы hbase в hive. Размер таблицы очень большой (500 терабайт)

В результате поиска есть hbase export, но поддерживается только перемещение данных между hbase и hbase (файлы, удаленные в hdfs, не являются обычным текстом, поэтому hive не может прочитать их немедленно) Кроме того, обработчик hbase в hive не может быть использован, поскольку hbase является удаленным кластером и имеет различные политики безопасности.

Было бы неплохо, если бы синтаксис INSERT INTO поддерживался как от улья к улью, но я ищу другой способ. Есть ли хороший способ разделить каждый столбец таблицы Hbase запятой и перенести его в hdfs?

Вы можете попробовать инструмент ExportSnapshot для перемещения данных из Hbase в HDFS в другом кластере, например,

 $ hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot MySnapshot -copy-to hdfs://yourserver:8020/hbase_root_dir -mappers 16
  

Проверьте это для получения более подробной информации.