Блог

Я пишу программы, используя MPI, и у меня есть доступ к двум разным кластерам. Я не силен в системном администрировании, поэтому ничего не могу сказать о программном обеспечении, ОС, компиляторах, которые там используются. Но на одной машине у меня взаимоблокировка с использованием такого кода:

 #include "mpi.h"
#include <iostream>

int main(int argc, char **argv) {

  int rank, numprocs;
  MPI_Status status;

  MPI_Init(amp;argc, amp;argv);
  MPI_Comm_rank(MPI_COMM_WORLD, amp;rank);
  MPI_Comm_size(MPI_COMM_WORLD, amp;numprocs);

  int x = rank;

  if (rank == 0) {
      for (int i=0; i<numprocs;   i)
          MPI_Send(amp;x, 1, MPI_INT, i, 100500, MPI_COMM_WORLD);
  }
  MPI_Recv(amp;x, 1, MPI_INT, 0, 100500, MPI_COMM_WORLD, amp;status);

  MPI_Finalize();
  return 0;
}
  

Сообщение об ошибке связано:

 Fatal error in MPI_Send: Other MPI error, error stack:
MPI_Send(184): MPI_Send(buf=0x7fffffffceb0, count=1, MPI_INT, dest=0, tag=100500, MPI_COMM_WORLD) failed
MPID_Send(54): DEADLOCK: attempting to send a message to the local process without a prior matching receive
  

Почему это так? Я не могу понять, почему это происходит на одной машине, но не происходит на другой?

MPI_Send является блокирующей операцией. Это может не завершиться, пока не будет отправлено соответствующее получение. В вашем случае rank 0 пытается отправить сообщение самому себе до отправки соответствующего получения. Если вам необходимо сделать что-то подобное, вы бы заменили MPI_Send на MPI_Isend ( MPI_Wait…` после получения). Но вы могли бы с таким же успехом просто не заставлять его отправлять сообщение самому себе.

Правильная вещь для использования в вашем случае MPI_Bcast .

Поскольку ранг 0 уже имеет правильное значение x , вам не нужно отправлять его в сообщении. Это означает, что в цикле вы должны пропустить отправку в ранг 0 и вместо этого начать с ранга 1:

 if (rank == 0) {
    for (int i=1; i<numprocs;   i)
        MPI_Send(amp;x, 1, MPI_INT, i, 100500, MPI_COMM_WORLD);
}
MPI_Recv(amp;x, 1, MPI_INT, 0, 100500, MPI_COMM_WORLD, amp;status);
  

Теперь rank 0 не будет пытаться разговаривать сам с собой, но поскольку receive находится за пределами условного, он все равно попытается получить сообщение от самого себя. Решение состоит в том, чтобы просто заставить получать альтернативную ветку:

 if (rank == 0) {
    for (int i=1; i<numprocs;   i)
        MPI_Send(amp;x, 1, MPI_INT, i, 100500, MPI_COMM_WORLD);
}
else
    MPI_Recv(amp;x, 1, MPI_INT, 0, 100500, MPI_COMM_WORLD, amp;status);
  

Другим более сложным решением является использование неблокирующих операций для публикации получения перед операцией отправки:

 MPI_Request req;

MPI_Irecv(amp;x, 1, MPI_INT, 0, 100500, MPI_COMM_WORLD, amp;req);
if (rank == 0) {
    int xx = x;
    for (int i=0; i<numprocs;   i)
        MPI_Send(amp;xx, 1, MPI_INT, i, 100500, MPI_COMM_WORLD);
}
MPI_Wait(amp;req, amp;status);
  

Теперь ранг 0 не будет блокироваться MPI_Send , поскольку ранее уже было отправлено соответствующее сообщение о получении. Во всех других рангах MPI_Irecv сразу же последует MPI_Wait , что эквивалентно блокировке приема ( MPI_Recv ). Обратите внимание, что значение x копируется в другую переменную внутри условия, поскольку одновременная отправка из и прием в одну и ту же ячейку памяти запрещены стандартом MPI по очевидным причинам корректности.