распределенный dask: Как увеличить время ожидания для рабочих подключений? функция connect() не завершилась вовремя

#dask #dask-distributed

#dask #распределенный dask

Вопрос:

OSError: Timed out trying to connect to 'tcp://127.0.0.1:40475' after 10 s: Timed out trying to connect to 'tcp:// 8.56.11:40475' after 10 s: connect() didn't finish in time

При выполнении некоторых огромных операций я хотел бы увеличить время ожидания с помощью инструмента преобразования. Но мне интересно, какой вариант конфигурации действительно используется здесь?

Я попытался:

 os.environ["DASK_DISTRIBUTED__COMM__TIMEOUTS__CONNECT"] = "33s"
os.environ["DASK_DISTRIBUTED__COMM__TIMEOUTS__TCP"] = "35s"
os.environ["DASK_DISTRIBUTED__DEPLOY__LOST_WORKER"] = "34s"
 

но никакого эффекта (все еще 10 секунд для тайм-аута.

Ответ №1:

Ответ в ~/.dask/config.yaml :

 # Communication options
connect-timeout: 10      # seconds delay before connecting fails
tcp-timeout: 30         # seconds delay before calling an unresponsive connection dead
default-scheme: tcp
 

Ответ №2:

Из документов dask: https://docs.dask.org/en/latest/configuration.html

Принятый ответ теперь устарел, в то время как поддерживаемое использование ~/.dask/config.yml устарело.