Блог

Недавно мы развернули новый hdp-кластер на 3 основных и 5 рабочих узлов. Но, похоже, есть несколько неправильно размещенных компонентов, таких как служба Hbase. Мастер Hbase был установлен на рабочий узел, а 3 региональных сервера Hbase расположены на 3 главных узлах.

Итак, у нас есть план по перемещению некоторого неправильно размещенного компонента hbase (мастер hbase должен находиться в главном узле, а региональные серверы должны находиться в рабочих узлах). Наш первый шаг — вывести из эксплуатации региональный сервер 3 hbase на masternode, но это невозможно сделать, потому что не удалось запустить мастер hbase

Затем мы исследуем главный журнал hbase и находим:

2021-11-30 13:42:24 379 ОШИБКА [master/ DCHDPD03:16000:becomeActiveMaster] мастер.HMaster: не удалось стать активным master org.apache.hadoop.hbase.util.Исключение FileSystemVersionException: файл hbase.version отсутствует. Действителен ли ваш hbase.rootdir? Вы можете восстановить файл hbase.version, запустив «HBCK2 filesystem -fix». Смотрите https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2 в орг.apache.hadoop.hbase.util.FSUtils.checkVersion(FSUtils.java:452) в org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:275) в org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:153) в org.apache.hadoop.hbase.master.MasterFileSystem.(MasterFileSystem.java:124) в org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:865) в org.apache.hadoop.hbase.master.HMaster.startActiveMasterManager(HMaster.java:2267) в org.apache.hadoop.hbase.master.HMaster.lambda$выполнить $0(HMaster.java:586) в java.lang.Thread.run(Thread.java:745) 2021-11-30 13:42:24,380 ОШИБКА [master/ DCHDPD03:16000:becomeActiveMaster] мастер.HMaster: ***** ПРЕРЫВАНИЕ основного dchdpd03.dcdms, 16000,1638254541977: необработанное исключение. Запуск завершения работы. ***** org.apache.hadoop.hbase.util.Исключение FileSystemVersionException: файл hbase.version отсутствует. Действителен ли ваш hbase.rootdir? Вы можете восстановить файл hbase.version, запустив «HBCK2 filesystem -fix». Смотрите https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2 в орг.apache.hadoop.hbase.util.FSUtils.checkVersion(FSUtils.java:452) в org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:275) в org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:153) в org.apache.hadoop.hbase.master.MasterFileSystem.(MasterFileSystem.java:124) в org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:865) в org.apache.hadoop.hbase.master.HMaster.startActiveMasterManager(HMaster.java:2267) в org.apache.hadoop.hbase.master.HMaster.lambda$выполнить $0(HMaster.java:586) в java.lang.Thread.run(Thread.java:745) 2021-11-30 13:42:24,380 ИНФОРМАЦИЯ [master / DCHDPD03:16000:becomeActiveMaster] региональный сервер.Региональный сервер: ***** ОСТАНОВКА регионального сервера ‘dchdpd03.dcdms,16000,1638254541977’ ***** 2021-11-30 13:42:24,380 ИНФОРМАЦИЯ [master/DCHDPD03:16000:becomeActiveMaster] региональный сервер.Региональный СЕРВЕР: ОСТАНОВЛЕН: остановлен master/DCHDPD03:16000:becomeActiveMaster 2021-11-30 13:42:27,268 ИНФОРМАЦИЯ [master/DCHDPD03:16000] ipc.NettyRpcServer: остановка сервера при /10.0.45.16:16000 2021-11-30 13:42:27,275 ИНФОРМАЦИЯ [master/DCHDPD03:16000] региональный сервер.Региональный сервер: остановка информационного сервера 2021-11-30 13:42:27,282 ИНФОРМАЦИЯ [мастер / DCHDPD03:16000] обработчик.Обработчик контекста: остановлен o.e.j.w.WebAppContext@47ac613b{/,null,UNAVAILABLE}{file:/usr/hdp/3.1.5.0-152/hbase/hbase-webapps/master } 2021-11-30 13:42:27,287 ИНФОРМАЦИЯ [master/DCHDPD03:16000] сервер.AbstractConnector: остановлен ServerConnector@727320fa{HTTP/1.1,[http/1.1]}{0.0.0.0:16010} 2021-11-30 13:42:27,287 ИНФОРМАЦИОННЫЙ обработчик [master/DCHDPD03:16000].Обработчик контекста: остановлен o.e.j.s.ServletContextHandler@37c41ec0{/static,file:///usr/hdp/3.1.5.0-152/hbase/hbase-webapps/static/,UNAVAILABLE } 2021-11-30 13:42:27,287 ИНФОРМАЦИЯ [мастер/ DCHDPD03:16000] обработчик.Обработчик контекста: остановлен o.e.j.s.ServletContextHandler@77c233af {/logs,файл:///var/log/hbase/,НЕДОСТУПЕН} 2021-11-30 13:42:27,288 ИНФОРМАЦИЯ [master/DCHDPD03:16000] региональный сервер.HRegionServer: прерывание работы сервера dchdpd03.dcdms,16000,1638254541977 2021-11-30 13:42:27,288 ИНФОРМАЦИЯ [master/DCHDPD03:16000] региональный сервер.HRegionServer: остановка сервера dchdpd03.dcdms, 16000,1638254541977; все регионы закрыты. 2021-11-30 13:42:27,288 ИНФОРМАЦИЯ [master / DCHDPD03:16000] hbase.ChoreService: служба Chore для: master / DCHDPD03:16000 [] при завершении работы 2021-11-30 13:42:27,289 ПРЕДУПРЕДИЛ [master / DCHDPD03:16000] master.ActiveMasterManager: не удалось получить главный адрес: java.io.IOException: не удается получить главный адрес от ZooKeeper; данные znode == null 2021-11-30 13:42:27,291 ИНФОРМАЦИЯ [master / DCHDPD03:16000] zookeeper.ZooKeeper: Сессия: 0x37d5ab0a503000e закрыта 2021-11-30 13:42:27,291 ИНФОРМАЦИЯ [main-EventThread] хранитель зоопарка.ClientCnxn: EventThread отключен 2021-11-30 13:42:27,291 ИНФОРМАЦИЯ [master / DCHDPD03:16000] региональный сервер.Региональный сервер: выход; остановка = dchdpd03.dcdms, 16000,1638254541977; соединение с zookeeper закрыто. 2021-11-30 13:42:27,291 ОШИБКА [основной] мастер.HMasterCommandLine: мастер, выходящий из java.lang.RuntimeException: HMaster прерван в org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:244) в org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:140) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:149) в org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:3109)

The hbase.version file is missing and we try recover it using hbck2 but it failed and it thrown some error below

14:14:10.011 [main] ПРЕДУПРЕДИТЬ org.apache.hadoop.hbase.client.Не удалось выполнить ConnectionImplementation — получить идентификатор кластера java.util.concurrent.Исключение ExecutionException: org.apache.hadoop.hbase.shaded.org.apache.zookeeper.Исключение KeeperException$Исключение NoNode: KeeperErrorCode = NoNode для /hbase-небезопасного/hbaseid в java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357) ~[?:1.8.0_112] в java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1895) ~[?:1.8.0_112] в org.apache.hadoop.hbase.client.ConnectionImplementation.retrieveClusterId(ConnectionImplementation.java : 549) [hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в org.apache.hadoop.hbase.client.Реализация подключения.(ConnectionImplementation.java:287) [hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в sun.reflect.NativeConstructorAccessorImpl.newInstance0(собственный метод) [?:1.8.0_112] в sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) [? :1.8.0_112] в sun.reflect.Делегирование constructoraccessorimpl.newInstance(делегирование constructoraccessorimpl.java:45) [?:1.8.0_112] на java.лэнг. поразмышляй.Конструктор.newInstance(Constructor.java:423) [?:1.8.0_112] в org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:220) [hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:115) [hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в org.apache.hbase.HBCK2.connect(HBCK2.java: 839) [hbase-hbck2-1.2.0-SNAPSHOT.jar:1.2.0-SNAPSHOT] вorg.apache.hbase.HBCK2.doCommandLine(HBCK2.java: 932) [hbase-hbck2-1.2.0-SNAPSHOT.jar:1.2.0-СНИМОК] в org.apache.hbase.HBCK2.run(HBCK2.java: 830) [hbase-hbck2-1.2.0-SNAPSHOT.jar: 1.2.0-СНИМОК] в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) [hadoop-common-3.1.1.3.1.5.0-152.jar :?] в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:90) [hadoop-common-3.1.1.3.1.5.0-152.jar :?] в org.apache.hbase.HBCK2.main(HBCK2.java: 1145) [hbase-hbck2-1.2.0-SNAPSHOT.jar:1.2.0-SNAPSHOT] Вызвано: org.apache.hadoop.hbase.shaded.org.apache.смотритель зоопарка.KeeperException$NoNodeException: KeeperErrorCode = NoNode для /hbase-небезопасного/hbaseid в org.apache.hadoop.hbase.shaded.org.apache.zookeeper.KeeperException.create(KeeperException.java:111) ~[h base-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в org.apache.hadoop.hbase.shaded.org.apache.zookeeper.KeeperException.create(KeeperException.java:51) ~[hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в org.apache.hadoop.hbase.zookeeper.Доступный только для чтения zkclient$ZKTask$1.exec(доступный только для чтения java:177) ~[hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] в org.apache.hadoop.hbase.zookeeper.ReadOnlyZKClient.run(ReadOnlyZKClient.java:342) ~[hbase-shaded-mapreduce-2.1.6.3.1.5.0-152.jar:2.1.6.3.1.5.0-152] на java.lang.Thread.run(Thread.java:745) ~[?:1.8.0_112] 14:14:14.241 [ главная] INFO org.apache.hadoop.hbase.client.RpcRetryingCallerImpl — исключение вызова, попыток = 6, попыток = 36, запущено = 4139 мс назад, отменено = false, сообщение =java.io.IOException: org.apache.hadoop.hbase.shaded.org.apache.zookeep er.KeeperException$NoNodeException: KeeperErrorCode = NoNode для /hbase-незащищенный/мастер, подробности=, см. https://s.apache.org/timeout … … Исключение в потоке «main» org.apache.hadoop.hbase.client.Повторное исключение exhaustedexception: сбой после попыток = 36, исключения: Вт 30 ноября 14:14:10 WIB 2021, RpcRetryingCaller{globalStartTime= 1638256450102, pause = 100, maxAttempts = 36}, org.apache.hadoop.hbase.Исключение MasterNotRunningException: java.io.IOException: org.apache.hadoop.hbase.shaded.org.apache.zookeeper .KeeperException Исключение $ NoNodeException: KeeperErrorCode = NoNode для /hbase-unsecure/master Вт 30 ноября 14:14:10 WIB 2021, RpcRetryingCaller{globalStartTime=1638256450102, pause=100, maxAttempts=36}, org.apache.hadoop.hbase.Исключение MasterNotRunningException: java.io.IOException: org.apache.hadoop.hbase.shaded.org.apache.zookeeper .KeeperException Исключение $NoNodeException: KeeperErrorCode = NoNode для /hbase-unsecure/master … … 14:23:00.842 [ReadOnlyZKClient-dchdpm01.dcdms: 2181,dchdpm02.dcdms:2181,dchdpm03.dcdms:2181@0x5c7933ad ] ИНФОРМАЦИЯ org.apache.hadoop.hbase.shaded.org.apache.zookeeper.ZooKeeper — Сессия: 0x37d5ab0a5030012 закрыта в org.apache.hadoop.hbase.client.RpcRetryingCallerImpl.callWithRetries(RpcRetryingCallerImpl.java:145) 14:23:00.842 [ReadOnlyZKClient-dchdpm01.dcdms:2181,dchdpm02.dcdms:2181,dchdpm03.dcdms:2181@0x5c7933ad-EventThread ] ИНФОРМАЦИЯ org.apache.hadoop.hbase.shaded.org.apache.zookeeper.ClientCnxn — EventThread завершает работу в org.apache.hadoop.hbase.client.HBaseAdmin.executeCallable(HBaseAdmin.java:3089) в org.apache.hadoop.hbase.client.HBaseAdmin.executeCallable(HBaseAdmin.java:3081) в org.apache.hadoop.hbase.client.HBaseAdmin.getClusterMetrics(HBaseAdmin.java: 2117) в org.apache.hbase.HBCK2.checkHBCKSupport(HBCK2.java:149) в org.apache.hbase.HBCK2.doCommandLine(HBCK2.java:933) в org.apache.hbase.HBCK2.run(HBCK2.java: 830) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) в org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:90) в org.apache.hbase.HBCK2.main(HBCK2.java: 1145), вызванный: org.apache.hadoop.hbase.Исключение MasterNotRunningException: java.io.IOException: org.apache.hadoop.hbase.shaded.org.apache.zookeeper.Исключение KeeperException$NoNodeException: KeeperErrorCode = NoNode для /hbase-незащищенный/мастер в org.apache.hadoop.hbase.client.Реализация подключения $MasterServiceStubMaker.makeStub(ConnectionImplementation.java:1175) в организации.apache.hadoop.hbase.client.ConnectionImplementation.getKeepAliveMasterService(ConnectionImplementation.java:1234) в org.apache.hadoop.hbase.client.ConnectionImplementation.getMaster(ConnectionImplementation.java:1223) в org.apache.hadoop.hbase.client.MasterCallable.prepare(MasterCallable.java:57) в org.apache.hadoop.hbase.client.RpcRetryingCallerImpl.callWithRetries(RpcRetryingCallerImpl.java:105) … еще 9 Вызвано: java.io.IOException: org.apache.hadoop.hbase.shaded.org.apache.zookeeper.Исключение KeeperException$NoNodeException: KeeperErrorCode = NoNode для /hbase-незащищенный/мастер в org.apache.hadoop.hbase.client.ConnectionImplementation.get(ConnectionImplementation.java:2012) в org.apache.hadoop.hbase.client.ConnectionImplementation.access$ 500(ConnectionImplementation.java:138) в org.apache.hadoop.hbase.client.Реализация подключения $MasterServiceStubMaker.makeStubNoRetries(ConnectionImplementation.java:1136) в org.apache.hadoop.hbase.client.Реализация подключения $MasterServiceStubMaker.makeStub(ConnectionImplementation.java:1169) … еще 13 Вызвано: org.apache.hadoop.hbase.shaded.org.apache.zookeeper.Исключение KeeperException $NoNodeException: KeeperErrorCode = NoNode для /hbase-незащищенный/мастер в org.apache.hadoop.hbase.shaded.org.apache.zookeeper.KeeperException.create(KeeperException.java:111) в org.apache.hadoop.hbase.shaded.org.apache.zookeeper.KeeperException.create(KeeperException.java:51) в org.apache.hadoop.hbase.zookeeper.ReadOnlyZKClient$ZKTask$1.exec(ReadOnlyZKClient.java:177) в org.apache.hadoop.hbase.zookeeper.ReadOnlyZKClient.run(ReadOnlyZKClient.java:342) на java.lang.Thread.run(Thread.java:745)

Кажется, нет узла для / hbase-unsecure/hbaseid и / hbase-unsecure /master Когда мы ищем проблему для / hbase-unsecure/hbaseid и / hbase-unsecure /master, он сказал, что необходимо активировать мастер hbase, но на самом деле мы все еще не можем активировать мастер hbase

Есть ли какой-либо шаг, который мы пропустили, или какие-либо неполадки в этой проблеме?

-С уважением-