Блог

Я пишу конвейер в Snakemake для людей, которые не обладают большими знаниями в области программирования, поэтому я хочу, чтобы они могли запускать весь конвейер, запрашивая только snakemake all -c в командной строке.

У меня есть 2 файла конфигурации в моем файле Snakefile:

 configfile: "config.yaml"
configfile: "config_samples.yaml"
 

Эти файлы конфигурации будут объединены вместе с помощью Snakemake.

config.yaml это стандартный конфигурационный файл. config_samples.yaml представляет собой конфигурационный файл, содержимое которого изменяется в зависимости от ввода конвейера. Это выглядит следующим образом:

 samples:
  CYP20130000B:
    R1: CYP20130000B_R1.fastq
    R2: CYP20130000B_R2.fastq
  SAT20020000A:
    R1: SAT20020000A_R1.fastq
    R2: SAT20020000A_R2.fastq
  ...
 

Я использую скрипт Python в правиле Snakemake для создания содержимого config_samples.yaml (используя директиву snakemake script). Это прекрасно работает.

Однако, когда я перечисляю все свои желаемые результаты в all правиле, например, так:

 "config_samples.done", # flag file for rule that generates config_samples.yaml
expand(QC_raw_reads/{sample}_{direction}_fastqc.html", sample=config["samples"], direction=["R1", "R2"])
 

Тогда это не сработает, потому expand() что будет расширяться только до образцов, которые находятся в текущем config_samples.yaml состоянии, поэтому до того, как скрипт Python фактически создаст новый config_samples.yaml с новыми образцами.

Этого можно легко избежать, запустив правило, которое генерируется config_samples.yaml отдельно перед запуском конвейера enterire, но, возвращаясь к началу, я хочу, чтобы оно оставалось максимально простым для непрограммистов.

Итак, мне было интересно, есть ли способ позволить Snakemake перестроить/перенести задания, чтобы их можно было обновить для новых образцов.

Вся ваша проблема, похоже, возникла из-за этого предложения:

Я использую скрипт Python в правиле Snakemake для создания содержимого примеров конфигурации.yaml (с использованием директивы скрипта snakemake). Это прекрасно работает.

Решение может быть таким же простым, как осознание того, что скрипт Python может выполняться вне правила Snakemake только в начале вашего змеиного файла. Змеиный файл-это в основном скрипт на Python. Таким образом, вы можете просто импортировать свой скрипт в этот змеиный файл и выполнить его там.

Таким образом, ваш змеиный файл может выглядеть следующим образом:

 import config_generator
config = config_generator.add_samples(config)

rule all:
   input: expand(QC_raw_reads/{sample}_{direction}_fastqc.html", sample=config["samples"], direction=["R1", "R2"])

rule A:
...
 

config_generator.py выглядело бы так:

 def add_samples(config):
    # here you can calculate whatever you calculate to get config_samples
    # e.g. config["samples"] = ...
    return config
 

Я не полностью переварил вопросы и комментарии ниже, но я чувствую, что согласен с @DmitryKuzminov в том, что текущая настройка немного изменена.

В любом случае, я думаю, что вы можете заставить snakemake регенерироваться config_samples.yaml , добавив в начало файла Snakefile, перед первым правилом, что-то вроде:

 if os.path.exists('config_samples.yaml'):
    os.remove('config_samples.yaml')
 

вы даже можете сделать этот шаг управляемым в командной строке с помощью:

 if config['remake_config'] == 'yes':
    if os.path.exists('config_samples.yaml'):
        os.remove('config_samples.yaml')
 

а затем выполните с:

 snakemake -C remake_config='yes' ...