Блог

Я новичок в программировании на perl и хотел бы узнать о разборе текстовых файлов с помощью perl. У меня есть текстовый файл с неправильным форматированием, и я хотел бы разобрать его на три части.

В основном файл содержит текст, подобный этим:

 ;out;asoljefsaiouerfas'pozsirt'z
mysql_query("SELECT * FROM Table WHERE (value='true') OR (value2='true') OR (value3='true') ");
1234 434 3454

4if[9put[e]9sd=09q]024s-q]3-=04i
select ta.somefield, tc.somefield 
from TableA ta INNER JOIN TableC tc on tc.somefield=ta.somefield 
INNER JOIN TableB tb on tb.somefield=ta.somefield 
ORDER by tb.somefield
234 4536 234
  

и список можно продолжить с этим форматом.

Итак, что мне нужно сделать, это разобрать его на три части. А именно тот, что сверху, получает проверки хэша. Вторым является запрос mysql, а третьим будет синтаксический анализ трех чисел. По какой-то причине я не понимаю, как это сделать. Я использую функцию ‘open’ в perl для получения данных из текстового файла. И затем я пытаюсь использовать функцию ‘split’ для разрывов строк, но оказывается, что запросы не находятся в одной строке или в шаблоне, поэтому я не могу использовать его таким образом, как я понял.

Предположения:

1. Между блоками данных будет пустая строка.
2. Эта пустая строка будет состоять только из новой строки.
3. В этих фрагментах проверки хэша будут в одной верхней строке, а три числа будут в одной нижней строке.

имея это в виду:

 use strict;
use warnings;
use English qw<$RS $OS_ERROR>;

local $RS = "nn";

open( my $fh, '<', $path_to_file ) 
    or die "Could not open $path_to_file! - $OS_ERROR"
    ;
while ( <> ) { 
    chomp;
    my ( $hash_check_line
       , @inner_lines 
       )
       = split /n/
       ;
    my @numbers = split /D /, pop @inner_lines;
    my $sql     = join( "n", @inner_lines );

    ...
}
  

Изменяя $RS ( $/ или $INPUT_RECORD_SEPARATOR ) на двойной перевод строк, мы меняем способ чтения записей.

Это не так уж и странно, но за годы работы с Perl мне приходилось использовать разделитель записей для некоторых довольно интересных строк, но иногда достаточно прочитать только тот фрагмент, который вы хотите прочитать.

О, о БОЖЕ.

Алгоритм, который я вижу, таков:

• Кэшируйте первую строку.
• Прочтите все строки, пока не останется пустая строка.
• «Последней» строкой будут цифры.
• Все остальное будет запросом.

Имея это в виду, я представляю следующий код:

 open my $fh, '<', $path_to_file
    or die "Can't open $path_to_file: $!";
while (my ($checksum, $query, $numbers) = read_record($fh) ) {
    # do something with record
}
close $fh or warn "$!";

sub read_record {
    my $fh = shift;
    my @lines;
    LINE: while (my $line = <$fh>) {
        chomp $line;
        last LINE if $line eq q{}; # if empty, we're done with the record!
        push @lines, $line;        # store it :)
    }
    return unless @lines;          # if we didn't get anything, eof!
    my $checksum = shift @lines;   # first was checksum.
    my $numbers = pop @lines;      # last thing read was numbers.
    my $query = join ' ', @lines;  # everything else, query.
    return ($checksum, $query, $numbers);
}
  

Модифицируйте, конечно, в соответствии с граничными условиями.

Кажется, работает следующее:

 while ($file_content =~ /s*^(. ?)^(.*?)^(d s d s d )$/smg) {
    my $checksum = $1;
    my $query = $2;
    my $numbers = $3;
    # do stuff
}
  

Вот объяснение для регулярного выражения:

 s*                   # eat up empty lines
^(. ?)                # save the checksum line to group 1
^(. ?)                # save one or multiple query lines to group 2
^(d s d s d )$   # save number line to group 3
  

Первая группа всегда будет состоять только из одной строки, так как она ленива, когда встречается следующая строка, регулярное выражение попытается начать сопоставление со второй группой. В этот момент, если остальная часть сопоставления может быть завершена, эта вторая группа будет содержать все последующие строки перед числами.