Время доступа к завершению из потока задач Dask

#python #time #dask #dask-distributed

#python #время #dask #dask-распределенный

Вопрос:

Я использую фьючерсы Dask для ускорения процесса Монте-Карло в python и стремлюсь улучшить код, отображая пользователю функцию «оставшееся время». Моя идея состоит в том, чтобы каким-то образом выделить время до завершения из предыдущих завершенных задач, выполняемых futures, чтобы оценить это оставшееся значение времени. Я вижу, что эта информация о времени отображается в графическом интерфейсе планировщика dask, но есть ли какой-либо способ захватить это в коде Python, чтобы я мог ее использовать? Мы будем признательны за любые отзывы по этому поводу. Спасибо.

Ответ №1:

Если у вас есть планировщик, локальный для вашего процесса (обычно это происходит, если вы используете LocalCluster в client.cluster.scheduler ), тогда вы можете захотеть взглянуть на .total_occupancy атрибут. Если вы хотите углубиться в подробности, ознакомьтесь .task_groups

Комментарии:

1. Спасибо за ответ @MRocklin! У меня была возможность опробовать эти функции, но я не был уверен, что означает вывод, и нет документации по обеим этим функциям. Атрибут .total_occupancy выводит единственное число с плавающей точкой. Я предполагаю, что это «общая занятость», но я действительно не знаю, что это значит.