Блог

В последнее время я тестировал материалы, связанные с памятью. Ознакомьтесь с этим:

 $data = load_in_huge_file('test.csv');

while (1)
{
    var_dump(memory_get_usage(false));
    var_dump(memory_get_usage(true));
    sleep(4);
    unset($data);
}
  

Для первого цикла это выводит огромное значение для первого вызова memory_get_usage и второго.

Для второго (и последующего) цикла это выводит небольшое значение для первого вызова memory_get_usage и огромное значение для второго.

Это означает, что фактическая «выделенная» память остается прежней, даже если я сброшу значение переменной, содержащей все данные.

То же самое произойдет, если я сделаю:

 $data = load_in_huge_file('test.csv');

while (1)
{
    var_dump(memory_get_usage(false));
    var_dump(memory_get_usage(true));
    sleep(4);
    unset($data);
    gc_collect_cycles();
}
  

Выделенная «реальная» память остается неизменной после ее выделения и не «освобождается».

(Функция load_in_huge_file в основном запускает fopen blabla, за которым следует fclose .)

Что мне с этим делать? Кажется, что PHP все еще «использует» оперативную память, и мои сверхмощные скрипты PHP CLI в конечном итоге истощают всю мою оперативную память при обработке множества файлов CSV, один за другим, и память не возвращается.

Я не думаю, что понимаю, что gc_collect_cycles() вообще делает. Руководство по меньшей мере неясно.

Может быть, достаточно unset(), но это «занимает некоторое время»? Может быть, «реальная» выделенная память просто запутывает терминологию и на самом деле не означает, что оперативная память «занята»?

(Все, что касается компьютеров, постоянно меня смущает. Ничто никогда не может быть по-настоящему изучено, без бесконечных дополнительных уровней сложности для каждой мельчайшей детали.)

Исходя из нашего опыта программирования, мы не рекомендуем сохранять целые данные в переменную (в память)

Лучше использовать цикл с помощью: https://www.php.net/manual/en/function.fgetcsv.php

Загружайте только 1 строку в память, а не весь файл.