Блог

Я создаю скрипт, который требует подсчета количества вхождений каждого слова в каждый файл, из примерно 2000 файлов, каждый из которых составляет около 500 КБ.

Таким образом, это 1 ГБ данных, но использование MySQL превышает 30 ГБ (затем оно заканчивается и заканчивается).

Я отследил причину этого в моем свободном использовании ассоциативных массивов, которое выглядит следующим образом:

 for($runc=0; $runc<$numwords; $runc  )
 {
 $word=trim($content[$runc]);

 if ($words[$run][$word]==$wordacceptance amp;amp; !$wordused[$word])
  {
  $wordlist[$onword]=$word;
  $onword  ;
  $wordused[$word]=true;
  }

 $words[$run][$word]  ; //  1 to number of occurances of this word in current category
 $nwords[$run]  ;
 }
 

$run — это текущая категория.

Вы можете видеть, что для подсчета слов я просто добавляю их в ассоциативный массив $words[$run][$word]. Которое увеличивается с каждым появлением каждого слова в каждой категории файлов.

Затем $wordused[$word] используется, чтобы убедиться, что слово не добавляется дважды в список слов.

$wordlist — это простой массив (0,1,2,3 и т.д.) со списком всех используемых разных слов.

Это потребляет гигантские объемы памяти. Есть ли более эффективный способ сделать это? Я рассматривал возможность использования таблицы памяти MySQL, но я хочу сделать все это на PHP, чтобы он был быстрым и переносимым.

Вы пробовали встроенную функцию для подсчета слов?
http://hu2.php.net/manual/en/function.str-word-count.php

РЕДАКТИРОВАТЬ: или используйте explode, чтобы получить массив слов, обрезать все с array_walk помощью , затем sort , а затем перейти с for помощью, и подсчитать вхождения, и если в списке появляется новое слово, вы можете flush указать количество вхождений, поэтому нет необходимости учитывать, какое слово было ранее.