#ubuntu #hadoop #hive #hdfs #cluster-computing
#ubuntu #hadoop #улей #hdfs #кластерные вычисления
Вопрос:
Привет, у меня есть кластер hadoop, состоящий из 5 компьютеров Ubuntu.
Каждая машина может успешно хранить и извлекать файлы из HDFS (распределенная файловая система Hadoop) и поддерживать согласованное представление файлов HDFS.
При создании баз данных через hive клиенты hive на разных компьютерах не могут видеть базы данных друг друга, хотя они могут найти файлы таблиц в /user /hive /warehouse/ <databasename> .db/ <tablename> в HDFS.
Мне было интересно, как включить совместное использование ресурсов между клиентами для hive.
Ответ №1:
https://dzone.com/articles/how-configure-mysql-metastore
В принципе, установите сервер mysql. Настройте конфигурационные файлы в hive, чтобы использовать протокол Thrift для связи с сервером mysql, с параметрами запроса для создания базы данных metastore при первом подключении, удалите существующие хранилища metastore в локальной файловой системе для каждого узла данных.
Тогда это должно работать во всем кластере.