Блог

Я пытаюсь настроить планировщик dask в кластере, но не могу найти оптимальное значение cluster.scale(X) . Я не улучшаю время работы за счет увеличения количества узлов. У меня есть следующий сценарий:

 cluster = SLURMCluster(memory='{}g'.format(args.cores),
                       processes=args.cores,
                       cores=args.cores,
                       queue='photon',
                       header_skip=['-n 1', '-N 1'],
                       job_extra=['--ntasks-per-node {}'.format(args.ntasks), '-N {}'.format(args.Nodes)])
cluster.scale(1)
client = Client(cluster)
 

Я прошу помощи в настройке переданного целого scale числа . Я нашел документацию — https://docs.dask.org/en/stable/_modules/distributed/deploy/cluster.html?выделение=масштаб, но, кроме того факта, что это количество работников, я не получаю никакой дополнительной информации.