Блог

Главная - Вопросы по программированию - Как подключить два компьютера к кластеру H2O в Python

Как подключить два компьютера к кластеру H2O в Python

#python #distributed-computing #h2o

#python #распределенные вычисления #h2o

Вопрос:

У меня есть два компьютера, которые я хочу подключить к одному кластеру H2O. У одного 4 ядра, у другого 6. Когда я запускаю

 h2o.init(ip = '10.0.0.89', port = 54321)

на первом компьютере я получаю следующий вывод:

 H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version:    3.8.2.3
H2O cluster name:   H2O_started_from_python_samerens_dii030
H2O cluster total nodes:    1
H2O cluster total free memory:  3.4 GB
H2O cluster total cores:    4
H2O cluster allowed cores:  4
H2O cluster healthy:    True
H2O Connection ip:  10.0.0.89
H2O Connection port:    54321
H2O Connection proxy:   None
Python Version: 3.7.4

Когда я запускаю ту же команду на втором компьютере, я получаю тот же результат (за исключением времени безотказной работы, конечно). Разве общее количество узлов не должно увеличиться до 2, а общее количество ядер увеличилось до 10? Я делаю что-то не так?

Комментарии:

1. Чтобы добавить больше информации для @erin-ledell, я предлагаю вам рассмотреть возможность использования новой версии H2O 3. Вы используете 3.8, которому несколько лет, и с тех пор было сделано много улучшений. В настоящее время выпущена версия 3.30 , и в вашей версии не будет некоторых многоузловых улучшений.

Ответ №1:

В настоящее время вы запускаете кластер H2O на одном компьютере, а затем подключаетесь к нему с другого компьютера (это сценарий, когда вы хотите, чтобы два пользователя имели доступ к одному и тому же кластеру H2O для обмена данными / моделями).

То, что вы пытаетесь сделать, это запустить многоузловой кластер H2O. Неясно, ускорит ли это ваше обучение или нет, потому что при использовании многоузлового кластера возникают накладные расходы на связь, поэтому всегда полезно проверить. Если вы добавляете большее количество ядер, например, 40 40 для общего количества 80 ядер, я бы ожидал, что в большинстве случаев это ускорит процесс, но добавление 4-6 может не сильно помочь (я просто хочу подчеркнуть, что полезно проверить скорость обучения на 6 ядрах).кластер с одним ядром против 10-ядерного многоядерного кластера). Инструкции для этого есть в руководстве пользователя H2O здесь . Здесь также есть FAQ о кластерах H2O. Если документы недостаточно понятны, пожалуйста, дайте мне знать (я замечаю, что в примерах / информации немного мало).

Наконец, если вы специально хотите использовать Amazon EC2 для кластеризации, здесь есть дополнительная информация об этом.