Блог

Я новичок в использовании параллельных фьючерсов и не могу найти никаких примеров того, как это сделать. У меня есть глобальный словарь данных, в который я хочу, чтобы функция, вызываемая параллельным исполнителем фьючерсов, добавляла результаты. Функция работает, но в данных нет вывода. Спасибо за любую помощь, Т.

 def estimate_shannon_entropy(dna_sequence):
    bases = collections.Counter([tmp_base for tmp_base in dna_sequence])
    # define distribution
    dist = [x/sum(bases.values()) for x in bases.values()]

    # use scipy to calculate entropy
    entropy_value = entropy(dist, base=2)
    #norm_ent = entropy_value/math.log(len(dna_sequence),2)
    return entropy_value

def shan(i):
    
    name1=i.split("/")[-1]
    
    ext1=name1.split(".")[-1]
    
    print(name1)
    
    if ext1=="gz":
        #print("gz detected")
        f=gzip.open(i,'rt')
        k=name1.split(".")[-2]
    
    else:
        f=open(i,'r')
        k=ext
    
    if k[-1]=="a":
        fmt="fasta"
        #print("fasta")
    if k[-1]=="q":
        fmt="fastq"
        #print("fastq")
    c=0
    shannon_total=0
    for x in SeqIO.parse(f,fmt):
        c=c 1
        if c<=samples:
            shannon = estimate_shannon_entropy(str(x.seq))
            shannon_total = shannon_total  shannon
        
    ans=float(shannon_total/samples)
    
    data[name1]=ans
    
folder=sys.argv[1] 
filelist=glob.glob(folder)
filelist.sort(key=tokenize)
#print(filelist)

samples=int(sys.argv[2])
threads=int(sys.argv[3])

global data
data={}

executor = concurrent.futures.ProcessPoolExecutor(threads)
futures = [executor.submit(shan, i) for i in filelist]
concurrent.futures.wait(futures)

print(data)
 

Хорошо, я нашел ответ, оставлю здесь на случай, если есть лучшие методы (конечно, есть). Используемый Менеджер:

 from multiprocessing import Manager
manager=Manager()
data=manager.dict()
executor = concurrent.futures.ProcessPoolExecutor(threads)
futures = [executor.submit(shan, i,data) for i in filelist]
concurrent.futures.wait(futures)