#database #time-series #td-engine
Вопрос:
Кластер с 2 экземплярами TDengine в 2 виртуальных машинах. Кластер работал нормально в течение последних 3 месяцев, даже вчера он был в порядке, но сегодня утром не может быть подключен.
Версия TDengine: TDengine-сервер-2.2.0.0-Linux-x64.rpm
Полное доменное имя: 192.168.44.127 hadoop1 192.168.44.130 hadoop2
войдите в узл1:
11/11 11:00:21.720098 00076468 сын vgId:1, узел:3, Проверка роли, поскольку коллегиального автономного состояние:инит, я:несинхронизированная состояние:инит 11/11 11:00:21.720117 00076468 сын vgId:1, узел:3, не удалось отправить сообщение статуса, перезагрузите ФД:-1 11/11 11:00:21.720121 00076468 сын vgId:1, узел:3, перезагрузите одноранговое соединение, в прошлом состояние:инит 11/11 11:00:21.720123 00076468 сын vgId:1, узел:3, ПФО:-1 ЮФО:-1 будет закрыт 11/11 11:00:21.720130 00076468 сын vgId:1, узел:3, равный Конн-перезагрузить и установить состояние:инит 11/11 11:00:21.720132 00076468 сын vgId:1, узел:3, проверить одноранговое соединение в 1000 мс 11/11 11:00:21.720136 00076468 SIN vgId:1, NodeID:3, роль однорангового узла:автономный переход в автономный 11/11 11:00:21.720137 00076468 SIN vgId:1, выберите мастер, реплика:2 11/11 11:00:21.720139 00076468 SIN vgId:1, не выбрано главного с момента подключения к сети Номер:1 реплика:2 11/11 11:00:21.720141 00076468 SIN vgId:1, не удалось выбрать мастер 11/11 11:00:21.780690 00076554 Пользователь DND:монитор, отправьте сообщение об ошибке проверки подлинности на mnodes 11/11 11:00:21.782719 00076481 RPC, ПРЕДУПРЕДИТЕ DND-C 0x7f12a2ef85f0 (ноль), слишком много перенаправлений, завершите 11/11 11:00:21.782774 00076554 пользователь ОШИБКИ DND:монитор, сообщение об ошибке проверки подлинности, полученное от mnodes, ошибка:не удается установить соединение 11/11 11:00:21.804686 00076480 НПК предупредить ДНР-с 0x7f12a2ef8188 (ноль), слишком много перенаправлений, бросить 11/11 11:00:21.804729 00076480 ДНР минфос меняется, numOfEps:2 команды inuse:0 11/11 11:00:21.804735 00076480 ДНР minfo:0 hadoop1:6030 11/11 11:00:21.804740 00076480 ДНР minfo:1 hadoop2:6030 11/11 11:00:21.804747 00076480 ДНР ошибка статус РСП получена ошибка:не удается установить соединение 11/11 11:00:22.086289 00076554 ДНД пользователя:монитор, отправить авт MSG в mnodes 11/11 11:00:22.088553 00076481 НПК предупредить ДНР-с 0x7f12a2ef8478 (ноль), слишком много перенаправлений, бросить 11/11 11:00:22.088641 00076554 ОШИБКА DND пользователь:монитор, авторизированное сообщение, полученное от mnodes, ошибка:Не удалось установить соединение
войдите в узл2:
11/11 11:12:41.216128 00002867 DND minfo:0 hadoop1:6030 11/11 11:12:41.216133 00002867 DND minfo:1 hadoop2:6030 11/11 11:12:41.216139 00002867 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:12:41.984212 00002859 SYN peer TCP connection from ip:192.168.44.127 11/11 11:12:41.984238 00002859 SYN ERROR vgId:1, vgId could not be found 11/11 11:12:42.223138 00002867 RPC WARN DND-C 0x7f88d5ef91d8 (nil), too many redirects, quit 11/11 11:12:42.223198 00002867 DND minfos is changed, numOfEps:2 inUse:0 11/11 11:12:42.223206 00002867 DND minfo:0 hadoop1:6030 11/11 11:12:42.223214 00002867 DND minfo:1 hadoop2:6030 11/11 11:12:42.223223 00002867 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:12:42.990131 00002859 SYN peer TCP connection from ip:192.168.44.127 11/11 11:12:42.990158 00002859 SYN ERROR vgId:1, vgId could not be found 11/11 11:12:43.227361 00002867 RPC WARN DND-C 0x7f88d5ef7300 (nil), too many redirects, quit 11/11 11:12:43.227429 00002867 DND minfos is changed, numOfEps:2 inUse:1 11/11 11:12:43.227433 00002867 DND minfo:0 hadoop1:6030 11/11 11:12:43.227436 00002867 DND minfo:1 hadoop2:6030 11/11 11:12:43.227439 00002867 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:12:43.994597 00002859 SYN peer TCP connection from ip:192.168.44.127 11/11 11:12:43.994623 00002859 SYN ERROR vgId:1, vgId could not be found 11/11 11:12:44.232866 00002867 RPC WARN DND-C 0x7f88d5ef91d8 (nil), too many redirects, quit 11/11 11:12:44.232905 00002867 DND minfos is changed, numOfEps:2 inUse:0
log in node1:
11/11 11:00:21.720098 00076468 SYN vgId:1, nodeId:3, check roles since peer:offline sstatus:init, self:unsynced sstatus:init 11/11 11:00:21.720117 00076468 SYN vgId:1, nodeId:3, failed to send status msg, restart fd:-1 11/11 11:00:21.720121 00076468 SYN vgId:1, nodeId:3, restart peer connection, last sstatus:init 11/11 11:00:21.720123 00076468 SYN vgId:1, nodeId:3, pfd:-1 sfd:-1 will be closed 11/11 11:00:21.720130 00076468 SYN vgId:1, nodeId:3, peer conn is restart and set sstatus:init 11/11 11:00:21.720132 00076468 SYN vgId:1, nodeId:3, check peer connection in 1000 ms 11/11 11:00:21.720136 00076468 SYN vgId:1, nodeId:3, peer role:offline change to offline 11/11 11:00:21.720137 00076468 SYN vgId:1, choose master, replica:2 11/11 11:00:21.720139 00076468 SYN vgId:1, no master election since onlineNum:1 replica:2 11/11 11:00:21.720141 00076468 SYN vgId:1, failed to choose master 11/11 11:00:21.780690 00076554 DND user:monitor, send auth msg to mnodes 11/11 11:00:21.782719 00076481 RPC WARN DND-C 0x7f12a2ef85f0 (nil), too many redirects, quit 11/11 11:00:21.782774 00076554 DND ERROR user:monitor, auth msg received from mnodes, error:Unable to establish connection 11/11 11:00:21.804686 00076480 RPC WARN DND-C 0x7f12a2ef8188 (nil), too many redirects, quit 11/11 11:00:21.804729 00076480 DND minfos is changed, numOfEps:2 inUse:0 11/11 11:00:21.804735 00076480 DND minfo:0 hadoop1:6030 11/11 11:00:21.804740 00076480 DND minfo:1 hadoop2:6030 11/11 11:00:21.804747 00076480 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:00:22.086289 00076554 DND user:monitor, send auth msg to mnodes 11/11 11:00:22.088553 00076481 RPC WARN DND-C 0x7f12a2ef8478 (nil), too many redirects, quit 11/11 11:00:22.088641 00076554 DND ERROR user:monitor, auth msg received from mnodes, error:Unable to establish connection log in node2:
11/11 11:12:41.216128 00002867 DND minfo:0 hadoop1:6030 11/11 11:12:41.216133 00002867 DND minfo:1 hadoop2:6030 11/11 11:12:41.216139 00002867 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:12:41.984212 00002859 SYN peer TCP connection from ip:192.168.44.127 11/11 11:12:41.984238 00002859 SYN ERROR vgId:1, vgId could not be found 11/11 11:12:42.223138 00002867 RPC WARN DND-C 0x7f88d5ef91d8 (nil), too many redirects, quit 11/11 11:12:42.223198 00002867 DND minfos is changed, numOfEps:2 inUse:0 11/11 11:12:42.223206 00002867 DND minfo:0 hadoop1:6030 11/11 11:12:42.223214 00002867 DND minfo:1 hadoop2:6030 11/11 11:12:42.223223 00002867 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:12:42.990131 00002859 SYN peer TCP connection from ip:192.168.44.127 11/11 11:12:42.990158 00002859 SYN ERROR vgId:1, vgId could not be found 11/11 11:12:43.227361 00002867 RPC WARN DND-C 0x7f88d5ef7300 (nil), too many redirects, quit 11/11 11:12:43.227429 00002867 DND minfos is changed, numOfEps:2 inUse:1 11/11 11:12:43.227433 00002867 DND minfo:0 hadoop1:6030 11/11 11:12:43.227436 00002867 DND minfo:1 hadoop2:6030 11/11 11:12:43.227439 00002867 DND ERROR status rsp is received, error:Unable to establish connection 11/11 11:12:43.994597 00002859 SYN peer TCP connection from ip:192.168.44.127 11/11 11:12:43.994623 00002859 SYN ERROR vgId:1, vgId could not be found 11/11 11:12:44.232866 00002867 RPC WARN DND-C 0x7f88d5ef91d8 (nil), too many redirects, quit 11/11 11:12:44.232905 00002867 DND minfos is changed, numOfEps:2 inUse:0 не знаю, что случилось.