Блог

Допустим, у меня есть большой файл с большим количеством строк и столбцов. Я хотел бы узнать, сколько строк и столбцов у меня есть с помощью bash.

Столбцы: awk '{print NF}' file | sort -nu | tail -n 1

Используйте head -n 1 для наименьшего количества столбцов, tail -n 1 для наибольшего количества столбцов.

Строки: cat file | wc -l или wc -l < file для группы UUOC.

В качестве альтернативы для подсчета столбцов, подсчитайте разделители между столбцами. Я считаю, что это хороший баланс краткости и легкости запоминания. Конечно, это не сработает, если ваши данные содержат разделитель столбцов.

 head -n1 myfile.txt | grep -o " " | wc -l
  

Используется head -n1 для захвата первой строки файла.
Использует grep -o to для подсчета всех пробелов и вывода каждого найденного пробела в новой строке. Используется wc -l для подсчета количества строк.

РЕДАКТИРОВАТЬ: Как указывает Гаурав Тули ниже, я забыл упомянуть, что вы должны мысленно добавить 1 к результату или иным образом записать эту математику.

Если ваш файл большой, но вы уверены, что количество столбцов остается неизменным для каждой строки (и у вас нет заголовка), используйте:

 head -n 1 FILE | awk '{print NF}'
  

чтобы найти количество столбцов, где FILE — это ваше имя файла.

Для определения количества строк будет работать ‘wc -l FILE’.

Небольшой поворот к ответу kirill_igum, и вы можете легко подсчитать количество столбцов любой определенной строки, которую вы хотите, вот почему я пришел к этому вопросу, хотя вопрос задается для всего файла. (Хотя, если в вашем файле одинаковые столбцы в каждой строке, это, конечно, тоже работает):

 head -2 file |tail -1 |tr 't' 'n' |wc -l
  

Выдает количество столбцов в строке 2.
Замените 2 на 55, например, чтобы получить его для строки 55.

 -bash-4.2$ cat file
1       2       3
1       2       3       4
1       2
1       2       3       4       5

-bash-4.2$ head -1 file |tail -1 |tr 't' 'n' |wc -l
3
-bash-4.2$ head -4 file |tail -1 |tr 't' 'n' |wc -l
5
  

Приведенный выше код работает, если ваш файл разделен табуляциями, поскольку мы определяем его как «tr». Если в вашем файле есть другой разделитель, скажем, запятые, вы все равно можете посчитать свои «столбцы», используя тот же трюк, просто изменив символ разделителя «t» на «,»:

 -bash-4.2$ cat csvfile
1,2,3,4
1,2
1,2,3,4,5
-bash-4.2$ head -2 csvfile |tail -1 |tr ',' 'n' |wc -l
2
  

Для строк вы можете просто использовать wc -l file

-l расшифровывается как общая строка

для столбцов вы можете просто использовать head -1 file | tr ";" "n" | wc -l

Объяснение
head -1 file
Захват первой строки вашего файла, которая должна быть заголовками, и отправка ее следующему cmd через канал
| tr ";" "n"

tr расшифровывается как translate.
Это переведет все ; символы в символ новой строки.
В этом примере ; это ваш разделитель.

Затем он отправляет данные в следующую команду.

wc -l
Подсчитывает общее количество строк.

Вы можете использовать bash. Примечание для очень больших файлов в гигабайтах используйте awk/wc . Однако производительность все равно должна быть приемлемой для файлов размером в несколько МБ.

 declare -i count=0
while read
do
    ((count  ))
done < file    
echo "line count: $count"
  

Если подсчета количества столбцов в первом достаточно, попробуйте следующее:

awk -F't' '{print NF; exit}' myBigFile.tsv

где t находится разделитель столбцов.

 awk 'BEGIN{FS=","}END{print "COLUMN NO: "NF " ROWS NO: "NR}' file
  

Вы можете использовать любой разделитель в качестве разделителя полей и можете найти номера СТРОК и столбцов

Простое количество строк — это $(wc -l "$file") . Используйте $(wc -lL "$file") для отображения как количества строк, так и количества символов в самой длинной строке.

 head -1 file.tsv |head -1 train.tsv |tr 't' 'n' |wc -l
  

возьмите первую строку, измените табуляцию (или вы можете использовать ‘,’ вместо ‘t’ для запятых), подсчитайте количество строк.

Решение на Perl:

perl -ane '$maxc = $#F if $#F > $maxc; END{$maxc ; print "max columns: $maxcnrows: $.n"}' file

Если ваш входной файл разделен запятыми:

perl -F, -ane '$maxc = $#F if $#F > $maxc; END{$maxc ; print "max columns: $maxcnrows: $.n"}' file

вывод:

 max columns: 5
rows: 2
  

-a автоматическое разделение входной строки на @F массив
$#F равно ли количество столбцов -1
-F, разделитель полей вместо пробела
$. это номер строки (количество строк)

Очень простой способ подсчета столбцов первой строки в чистом bash (без awk, perl или других языков):

 read -r line < $input_file
ncols=`echo $line | wc -w`
  

Это сработает, если ваши данные отформатированы соответствующим образом.

Следующий код выполнит эту работу и позволит вам указать разделитель полей. Это особенно полезно для файлов, содержащих более 20 тысяч строк.

 awk 'BEGIN { 
  FS="|"; 
  min=10000; 
}
{ 
  if( NF > max ) max = NF; 
  if( NF < min ) min = NF;
} 
END { 
  print "Max=" max; 
  print "Min=" min; 
} ' myPipeDelimitedFile.dat