Я запускаю команду bash с подпроцессом.popen на python:

 cmd = "bwa-mem2/bwa-mem2 mem -R '@RG\tID:2064-01\tSM:2064-01\tLB:2064-01\tPL:ILLUMINA\tPU:2064-01' reference_genome/human_g1k_v37.fasta BHYHT7CCXY.RJ-1967-987-02.2_1.fastq BHYHT7CCXY.RJ-1967-987-02.2_2.fastq -t 14 | samtools view -bS -o dna_seq/aligned/2064-01/2064-01.6.bam -"

process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
 

Проблема в том, что я получаю код возврата 0, даже если первая команда завершается неудачно.
Я погуглил и узнал о pipefail, и, похоже, это то, что я должен использовать.

Однако я не понимаю, где это написать. Я пытался:

 "set -o pipefail amp;amp; bwa-mem2/bwa-mem2 mem -R '@RG\tID:2064-01\tSM:2064-01\tLB:2064-01\tPL:ILLUMINA\tPU:2064-01' reference_genome/human_g1k_v37.fasta BHYHT7CCXY.RJ-1967-987-02.2_1.fastq BHYHT7CCXY.RJ-1967-987-02.2_2.fastq -t 14 | samtools view -bS -o dna_seq/aligned/2064-01/2064-01.6.bam -"
 

что дает: /bin/sh: 1: набор: Незаконная опция-o pipefail

есть какие-нибудь идеи, как мне это включить?

Редактировать:

Я не уверен, правильно ли редактировать свой ответ при ответе на ответ? не хватило персонажей, чтобы ответить в комментарии:/

В любом случае, я попробовал ваш второй подход без shell=True @Charles Duffy.

(cmd_1 и cmd_2 равны тому, что вы написали в своем решении)

Это код, который я использую:

 try:
        
   p1 = Popen(shlex.split(cmd_1), stdout=PIPE)
   p2 = Popen(shlex.split(cmd_2), stdin=p1.stdout, stdout=PIPE, stderr=STDOUT, text=True)
   p1.stdout.close()
   output, error = p2.communicate()
   p1.wait()    
    
   rc_1 = p1.poll()
   rc_2 = p2.poll()
   print("rc_1:", rc_1)
   print("rc_2:", rc_2)

   if rc_1 == 0 and rc_2 == 0:
       self.log_to_file("DEBUG", "# Process ended with returncode = 0")
       if text: self.log_to_file("INFO", f"{text} succesfully 
            
   else:
       print("Raise exception")
       raise Exception(f"stdout: {output} stderr: {error}")

except Exception as e:
    print(f"Error: {e} in misc.run_command()")
    self.log_to_file("ERROR", f"# Process ended with returncode != 0, {e}")
 

это результат, который я получаю, когда намеренно вызываю ошибку, переименовывая один файл:

 [E::main_mem] failed to open file `/home/jonas/BASE/dna_seq/reads/2064-01/test_BHYHT7CCXY.RJ-1967-987-02.2_2.fastq.gz'.
free(): double free detected in tcache 2
rc_1: -6
rc_2: 0
Raise exception
Error: stdout:  stderr: None in misc.run_command()
 ERROR: # Process ended with returncode != 0, stdout:  stderr: None
 

Похоже, он фиксирует неверный код возврата.

Но почему stdout пусто и stderr= None ? Как я могу захватить выходные данные, чтобы они были зарегистрированы в регистраторе как при успешном выполнении процесса, так и при его сбое?