#python #conda #dask #dask-distributed #dask-delayed
#python #conda #dask #dask-распределенный #dask-delayed
Вопрос:
Я установил dask с помощью conda. Когда я создаю отложенные функции и запускаю их в своем кластере PBS с помощью dask, как мне убедиться, что рабочие узлы активируют ту же среду conda перед запуском отложенных функций?
Ответ №1:
Этот документ дает вам хорошую общую информацию о том, как импорт и среды работают в кластере dask. В вашем случае с PBS вы можете столкнуться со случаем, когда каждый работник видит одну и ту же файловую систему.
Чтобы настроить запуск PBS, вы должны прочитать это, где вы можете определить различные настройки, включая пути, которые будут искать рабочие. Если у вас также / вместо этого есть локальное хранилище на узлах, тогда вы можете захотеть распространять среды, используя один из методов в первой ссылке.
Комментарии:
1. Вы правы, я использую общую файловую систему, поэтому мне не нужна помощь в распространении файлов. Тем не менее, мне нужно, чтобы рабочие активировали среду conda при запуске перед запуском кода python. Какой загрузочный хук я могу использовать, чтобы заставить их это сделать? Ссылка на запуск PBS, которую вы дали, похоже, не описывает какой-либо такой перехват.