Блог

Я импортировал текстовую версию PDF с помощью скрипта Python, но в нем есть куча артефактов мусора, которые меня просто не волнуют.

Единственные пробелы, о которых я забочусь, это (1) одинарные пробелы и (2) двойные символы n.

Один пробел, по очевидным причинам, между границами слов. Двойные n, для разграничения между абзацами.

Содержащийся в нем мусорный пробел выглядит следующим образом:

 [ nt]  all jumbled together
  

Что приводит меня к другой проблеме, иногда абзацы разграничены

 [n][s] [n]
  

У меня недостаточно опыта работы с регулярным выражением, чтобы заставить его игнорировать внутренний пробел между двумя n . Как любитель регулярного выражения, моя проблема в том, что s включает n .

Если бы этого не произошло — я думаю, это было бы действительно простой проблемой для решения.

Все остальные пробелы не имеют значения, и ничего из того, что я пытаюсь, на самом деле не работает.

Любые предложения будут высоко оценены.

Пример текста

 Summary: The Department of Environment in Bangladesh seized 265 sacks of poultry feed 
tainted with tannery waste and various chemicals. 

Synthesis/Analysis: The Department of Environment seized the tainted poultry feed on 
28 March from a house in the city of Adabar located in Dhaka province. Workers were 
found in the house, which was used as an illegal factory, producing the tainted feed. The 
Bangladesh Environment Conservation Act allowed for a case to be filed against the 
factory’s manager, Mahmud Hossain, and the owner, who was not named. 

It was reported that the Department of Environment had also closed three other factories 
in Hazaribag a month prior to this instance for the same charges. The Bangladesh Council of 
Scientific and Industrial Research found that samples from the feed taken from these 
factories had “dangerous levels of chromium…”  The news report also stated that “poultry 
6 



and eggs became poisonous” from consuming the tainted feed, which would also cause 
health concerns for consumers. 
  

Это просто приводит меня к большему количеству исправлений… Нужно удалить все номера страниц и случайные двойные n.

Вы можете использовать утверждение, чтобы s исключить разрывы строк:

  ((?!n)s){2,}
  

Чтобы объединить строки с ns n пробелами между ними, вы можете использовать аналогичную конструкцию вместо s . Но для простоты я бы просто использовал два preg_match и сначала объединил бы разрывы строк, а затем убрал двойные пробелы.

Я думаю, это сработает:

1. Замените » s * n s *» на » n n».

   Это позволит стандартизировать разделители абзацев.

2. Замените » s * s *» на «».

   Это позволит стандартизировать разделители слов.

 s/(h) /$1/g;
s/n(s*n) /nn/g;
  

Вышеописанное приведет к удалению горизонтальных пробелов (я предполагаю, что вы не беспокоитесь о вертикальной табуляции или возврате каретки) и всех новых строках через двойной пробел.

Немного халтурно, но я думаю, это должно сработать:

preg_replace('/t|( ){2,}|(n)s (n)/', '123', $data);

Бонус: не требует выполнения двух проходов по строке.