Блог

Я пытаюсь распараллелить программу, которая использует одну функцию в цикле for, которая параллельно обновляет глобальный список / переменную. Как мне это сделать и как я могу передать значения функции?

Пример кода выглядит следующим образом,

 #python 2.7.12
import random
sum=0

#sample function to take a random integer between 0 to i and add it to global variable sum
def hello(i):
    print "Thread Id :",i   #instead of i it should be the threadID
    sum=sum random.randrange(0,i)

#main function  
i=1
for i in range(10): 
    hello(i)        #how to parallelize this function over a loop?
  

Редактировать 1 :
Пробовал использовать процесс из многопроцессорной обработки, но не знаю, как передавать значения функциям и как запускать его параллельно в цикле.

 from multiprocessing import Process
sum=0 

def Hello(): 
   print 'hello: starting' 
   sum=sum i    #Don't know how to pass values here 
   print 'hello: finishing' 

if name == 'main': 
   p1 = Process(target=func1) 
   p1.start() 
   p1.join()
   print sum
  

Вы можете использовать multiprocessing.dummy.Пул, который принимает функцию, за которой следуют ваши параметры (см. Ниже).

Вам также нужно будет беспокоиться о синхронизации вашей глобальной переменной (см. Ниже Пример использования Lock).

Кроме того, если вы не используете «глобальную сумму», сумма внутри вашей функции ссылается на локальную переменную sum (пример глобальной суммы см. Ниже).

threading.current_thread() дает вам идентификатор потока.

 #python 2.7.12
from multiprocessing.dummy import Pool as ThreadPool
import threading
import random

lock = threading.Lock()

sum = 0

#sample function to take a random integer between 0 to i and add it to global variable sum
def hello(i):
    if (i == 0):
        return
    global sum
    print threading.current_thread()   #instead of i it should be the threadID
    r = random.randrange(0,i)
    lock.acquire()
    try:
        sum = sum   r
    finally:
        lock.release()

ThreadPool().map(hello, list(range(1, 11)))

print sum
  

Передайте параметры в виде кортежа аргументам kwarg функции Process: Вот пример из документации:

 if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()
  

https://docs.python.org/2/library/multiprocessing.html

Также верно и то, что сказал Джон Гордон в своем комментарии. Вам нужно, чтобы главный процесс (который будет запускать цикл) обрабатывал суммирование. То, что вы в основном пытаетесь сделать, — это простое задание map / reduce.

Часть map — это ваша функция hello, а reduce — это сумма. В python есть много примеров выполнения заданий map / reduce.

Посмотрите на использование канала или разделяемой памяти для обработки суммы, оба подробно описаны в документах по многопроцессорной обработке, упомянутых выше.