Блог

Главная - Вопросы по программированию - Как оптимизировать код для улучшения параллельной обработки в R с помощью библиотеки as foreach, doParallel или bigstatsr?

Как оптимизировать код для улучшения параллельной обработки в R с помощью библиотеки as foreach, doParallel или bigstatsr?

#r #doparallel

Вопрос:

У меня есть: 1 кадр данных с (50000×40000) ROWxCOL. Все переменные имеют диапазон 0:30000

  1. Как повысить производительность кода?
  2. В случае HCA, как устранить ошибку: использование батареи C 15924160 слишком близко к пределу?
  3. Какую альтернативу параллельной обработки я могу использовать?
  4. В дополнение к сообщенной ошибке, пункт 2, в среднем каждая такая команда занимала около 4 часов на моей машине I7 10ag, 32 ГБ, SSD м2 1 т.

библиотека(для каждого) библиотека(допараллель) Я хотел бы использовать параллельную обработку для выполнения таких вычислений, как:

 registerDoParallel(cl lt;- makeCluster(11))  df.dist lt;- foreach(i=1:1) %dopar% {dist(scale(DF))}  stopCluster(cl)   OR   registerDoParallel(cl lt;- makeCluster(11))  df.hca lt;- foreach(i=1:1) %dopar% {hclust(DF, method = "ward.D2")}  stopCluster(cl)
Метки: ,