#linux #date #awk #hdfs #cat
#linux #Дата #awk #hdfs #cat
Вопрос:
У меня тысячи файлов в папке, и я должен обрабатывать файлы cat, начиная с указанного теста. Но у меня есть файлы, начинающиеся с одного и того же текста, но с разными датами, я должен распечатать (cat) файлы с указанным начальным текстом после указанной мной даты.
hdfs dfs -cat /tmp/folder1/region_1101_*_summary_*/part* | awk '$1 == "NumOfMissingIds" {print $2}'
Ожидаю предложений объединить часть даты с командой.
Комментарии:
1. Я бы не использовал awk для сравнения дат, но Python, который кажется более подходящим для этой проблемы.
2. * возможность создания нескольких папок в разные даты / время ** с указанием region_1101 . Итак, есть ли возможность получить содержимое файла с указанным поисковым запросом (NumOfMissingIds) в каждом файле (часть *) по пути /tmp/ folder1/region_1101__summary_ после определенной созданной даты / времени. @Serge Ballesta
Ответ №1:
Возможно, что-то вроде этого:
awk 'BEGIN {out = 0}
/startpattern/ {out = 1}
$1 == "NumOfMissingIds" { if (out) print $2 }'
Комментарии:
1. возможность создания нескольких папок в разные даты / время с указанием region_1101 * . Итак, есть ли возможность получить содержимое файла с указанным поисковым запросом (NumOfMissingIds) в каждом файле (часть *) по пути /tmp/ folder1/region_1101_ _summary_ после определенной созданной даты / времени.