Я искал множество вопросов здесь и на других сайтах, и люди предлагали то, что должно решить мою проблему, но я думаю, что с моим кодом что-то не так, что я просто не распознаю.

У меня есть 24 файла .fasta из NGS sequencing длиной 150 бит. Для каждого файла требуется примерно 1 МЛН операций чтения. Считанные данные получены в результате целевого секвенирования, в ходе которого мы гальванически обработали векторы кДНК для интересующих генов и уникальной последовательностью штрих-кода. Мне нужно просмотреть файлы секвенирования на наличие или отсутствие последовательности штрих-кода, которая соответствует определенному гену.

У меня есть текстовый список последовательностей штрих-кодов, которые я хочу передать grep для поиска штрих-кода в файле .fasta. Я перепробовал так много вариантов этой команды. Я могу предоставить grep каждый штрих-код по отдельности, но это отнимает много времени, я знаю, что можно предоставить ему список последовательностей штрих-кодов и выполнить поиск в каждом .fasta для каждого из штрих-кодов и записать, сколько раз каждый штрих-код встречается в каждом файле.

Вот мой код, в котором я даю ему каждый штрих-код по отдельности:

 # Barcode 33
mkdir --mode 755 $dir/BC33
FILES="*.fasta"
for f in $FILES;      do                      
cat "$f" | tr -d "n" | tr ">" "n" | grep 'TATTAGAGTTTGAGAATAAGTAGT' > $dir/BC33/"$f"
                      done
  

Я попытался адаптировать его, чтобы мне не приходилось вводить каждую последовательность штрих-кодов по отдельности:

 dir="/home/lozzib/AG_Barcode_Seq/"
cd $dir
FILES="*.fasta"
for f in $FILES;      do                                              
cat "$f" | tr -d "n" | tr ">" "n" | grep -c -f BarcodeScreenSeq.txt | sort > $dir/Results/"$f"
echo "Finished $f"
                      done
  

Но он не ищет последовательности штрих-кодов. С помощью этой итерации он просто возвращает новые файлы в /Results каталог, которые пусты. Я также попробовал цикл nest, где я попытался сделать последовательность штрих-кодов переменной, которая изменялась подобно $FILES , но это просто дало мне новый файл с именами моих файлов .fasta:

 dir="/home/lozzib/AG_Barcode_Seq/"
cd $dir    
FILES="*.fasta"
for f in $FILES;      do                        
for b in `cat /home/lozzib/AG_Barcode_Seq/BarcodeScreenSeq.txt`; do                   
cat "$f" | grep -c "$b" | sort > $dir/"$f"_Barcode
                      done   ;
                      done    
  

Мне нужен выходной текстовый файл, содержащий:

 <barcode sequence>: <# of times that bc was found> 
  

для каждого файла .fasta, потому что я хочу собрать все образцы вместе, чтобы получился один большой лист Excel, на котором показан каждый штрих-код и сколько раз он был найден в каждом образце.

Пожалуйста, помогите, я перепробовал все, что смог придумать.

Редактировать

Вот что такое BarcodeScreenSeq.txt файл будет выглядеть следующим образом. Это просто текстовый файл, где каждая строка представляет собой последовательность штрих-кодов:

 head BarcodeScreenSeq.txt 
TATTATGAGAAAGTTGAATAGTAG 
ATGAAAGTTAGAGTTTATGATAAG 
AATAGATAAGATTGATTGTGTTTG 
TGTTAAATGTATGTAGTAATTGAG 
ATAGATTTAAGTGAAGAGAGTTAT 
GAATGTTTGTAAATGTATAGATAG 
AAATTGTGAAAGATTGTTTGTGTA 
TGTAAGTGAAATAGTGAGTTATTT 
GAATTGTATAAAGTATTAGATGTG 
AGTGAGATTATGAGTATTGATTTA
  

Редактировать

 lozzib@gliaserver:~/AG_Barcode_Seq$ file BarcodeScreenSeq.txt
BarcodeScreenSeq.txt: ASCII text, with CRLF line terminators
  

Окончания строк Windows

У вашего BarcodeScreenSeq.txt есть окончания строк Windows. Каждая строка заканчивается специальными символами rn . Такие инструменты Linux, как grep , работают только с окончаниями строк в Linux r и интерпретируют ваш файл…

 TATTATGrn
ATGAAAGrn
...
  

для поиска шаблонов TATTATGr , ATGAAAGr , … (обратите r внимание на конец). Из-за r нет совпадения.

Либо: конвертируйте ваш файл сразу после запуска dos2unix BarcodeScreenSeq.txt или sed -i 's/r//g' BarcodeScreenSeq.txt . Это изменит ваш файл.
Или: замените все BarcodeScreenSeq.txt в следующих сценариях на <(tr -d 'r' < BarcodeScreenSeq.txt) . Это не изменит файл, но увеличит накладные расходы, поскольку файл преобразуется снова и снова.

Команда

grep -c имеет только один счетчик. Если вы передаете несколько шаблонов поиска одновременно (например, используя -f BarcodeScreenSeq.txt ), вы все равно получаете только одно число для всех шаблонов вместе.

Чтобы подсчитать вхождения каждого шаблона по отдельности, вы можете использовать следующий трюк:

 for file in *.fasta; do
    grep -oFf BarcodeScreenSeq.txt "$file" |
    sort | uniq -c |
    awk '{print $2 ": " $1 }' > "Results/$file"
done
  

grep -o будет выводить каждое совпадение в виде одной строки.
sort | uniq -c будет подсчитано, как часто встречается каждая строка.
awk существует только для изменения формата с #matches pattern на pattern: #matches .

Преимущество: команда должна быть довольно быстрой.
Недостаток: шаблоны из BarcodeScreenSeq.txt , которые не найдены в $file , вообще не будут перечислены. В вашем результате не будут учитываться строки формы pattern: 0 .

Если вам действительно нужны строки формы pattern: 0 , вы могли бы использовать другой трюк:

 for file in *.fasta; do
    grep -oFf BarcodeScreenSeq.txt "$file" |
    cat - BarcodeScreenSeq.txt |
    sort | uniq -c |
    awk '{print $2 ": " ($1 - 1) }' > "Results/$file"
done
  

cat - BarcodeScreenSeq.txt вставит содержимое BarcodeScreenSeq.txt в конце grep выходных данных таким образом, чтобы оно #matches было на единицу больше, чем должно быть. Число исправлено на awk .

Вы можете читать текстовый файл по одной строке за раз и обрабатывать каждую строку отдельно, используя перенаправление, вот так:

 for f in *.fasta; do 
    while read -r seq; do
        grep -c "${seq}" "${f}" > "${dir}"/"${f}"_Barcode
    done < /home/lozzib/AG_Barcode_Seq/BarcodeScreenSeq.txt
done