Почему ограничения PHPS «memory_limit» и «max_execution_time» не соблюдаются при использовании HTTP Accept-Ranges для обслуживания больших файлов?

#php #apache #http #resources

#php #apache #http #Ресурсы

Вопрос:

Следующий скрипт используется для (оценки) отправки больших видеофайлов клиенту. Сзади используются заголовки http Accept-Ranges . Даже при работе с большими файлами (> 2 ГБ) ограничения PHP не соблюдаются (для тестирования я установил небольшие значения, такие как memory_limit = 16 МБ и max_execution_time = 30).

Я хотел бы «понять» контекст позади, поскольку chrome показывает только один (частичный) запрос, увеличивая «время» и «размер» каждые несколько секунд, хотя в файле журнала apache нет дополнительных запросов.

 $file = './videos/' . basename($_GET['video']);

if(!file_exists($file)) return; 

$fp = @fopen($file, 'rb');      
$size   = filesize($file); // File size 
$length = $size;           // Content length
$start  = 0;               // Start byte
$end    = $size - 1;       // End byte  

header('Content-type: video/mp4');
header("Accept-Ranges: 0-$length");
header("Accept-Ranges: bytes"); 

if (isset($_SERVER['HTTP_RANGE'])) {
    $c_start = $start;              
    $c_end   = $end;                
    list(, $range) = explode('=', $_SERVER['HTTP_RANGE'], 2);
    if (strpos($range, ',') !== false) {
        header('HTTP/1.1 416 Requested Range Not Satisfiable');
        header("Content-Range: bytes $start-$end/$size");
        exit;      
    }              
    if ($range == '-') {            
        $c_start = $size - substr($range, 1);
    }else{         
        $range  = explode('-', $range); 
        $c_start = $range[0];           
        $c_end   = (isset($range[1]) amp;amp; is_numeric($range[1])) ? $range[1] : $size;
    }
    $c_end = ($c_end > $end) ? $end : $c_end;
    if ($c_start > $c_end || $c_start > $size - 1 || $c_end >= $size) { 
        header('HTTP/1.1 416 Requested Range Not Satisfiable');
        header("Content-Range: bytes $start-$end/$size");
        exit;      
    }
    $start  = $c_start;             
    $end    = $c_end;               
    $length = $end - $start   1;    
    fseek($fp, $start);             
    header('HTTP/1.1 206 Partial Content');
}   
               
header("Content-Range: bytes $start-$end/$size");
header("Content-Length: ".$length);

$buffer = 1024 * 8;
while(!feof($fp) amp;amp; ($p = ftell($fp)) <= $end) { 
    if ($p   $buffer > $end) {      
        $buffer = $end - $p   1;        
    }              
    set_time_limit(0);              
    echo fread($fp, $buffer);       
    ob_flush();    
}
fclose($fp);       
exit();
  

Комментарии:

1. Что касается памяти, нижний while цикл считывает файл в виде фрагментов размером 8 КБ и передает их непосредственно клиенту, поэтому с точки зрения памяти это очень мало. Если бы это было объединение в строку, то именно здесь сработал бы лимит памяти сервера. Что касается дополнительных запросов, насколько мне известно, браузеры не будут создавать дополнительный запрос к серверу, даже если объявлен диапазон, за исключением случая возобновления загрузок (или если кто-то написал какой-то JS для этого). Для тайм-аута, без тестирования, я бы ожидал, что 30-секундный лимит прервет сценарий, не так ли?

2. Спасибо за ваши объяснения! Тайм-аут не прерывает сценарий — чего я не понимаю. Я проверю это снова позже. Возможно, с файлом объемом 2 ГБ прерывание отображается в браузере намного позже, чем через 30 секунд, потому что тайм-аут влияет только на обработанные байты на стороне сервера, а не на продолжительность отображаемого видео на стороне клиента?

3. Что касается времени ожидания, я заметил, что в последних строках есть set_time_limit(0)… Но событие при его удалении и установке max_execution_time равным 1, я не могу установить тайм-аут. Теперь я полагаю, что веб-сервер (apache) регистрирует только ОДИН запрос для всех запросов диапазона!?

4. Я был бы удивлен, если бы Apache зарегистрировал только один запрос, очень удивлен. Запрос на дополнительный контент по-прежнему является действительным запросом, поэтому его следует регистрировать. Попробуйте добавить некоторые die s в код диапазона, чтобы увидеть, действительно ли он попадает в первую очередь. Что вы используете для вызова запроса диапазона в первую очередь? Кроме того, вы можете выйти set_time_limit из цикла, вам нужно вызвать это только один раз.

5. Независимо от запуска первого запроса из видеообъекта html 5 «src» или прямого вызова скрипта, сначала выполняются 1-3 частичных запроса (каждый примерно 1-5 МБ), после этого выполняется дополнительный частичный запрос, который извлекает оставшиеся ~ 3 ГБ. Эти 4 запроса отображаются в файле журнала apache chrome developer tools. Но из-за размера данных последнего запроса, не должен ли он нарушать какое-либо ограничение по времени? Этого не происходит, даже если set_time_limit удален. Я этого не понимаю! Кроме того, я не понимаю, почему есть 1-4 «маленьких» запроса и дополнительный «огромный» запрос?

Ответ №1:

Выяснил еще некоторые подробности, запросив скрипт с помощью командной строки, используя curl без каких-либо заголовков диапазона, имея max_execution_time=1 и обслуживая файл объемом 2,893 ГБ.

На том же компьютере (прерывание через 7 секунд и 678 МБ):

 % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed  
23 2893M   23  678M    0     0  92.5M      0  0:00:31  0:00:07  0:00:24     0 
curl: (18) transfer closed with 2322893144 bytes remaining to read
  

На внешней машине с более низкой пропускной способностью (прерывание через 49 секунд и 599 МБ):

 % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed  
20 2893M   20  599M    0     0  12.1M      0  0:03:58  0:00:49  0:03:09 10284 
curl: (18) transfer closed with 2404747608 bytes remaining to read
  

Что касается этого, max_execution_time=30 на самом деле не «маленький» в этом контексте, поскольку он позволяет передавать приблизительно 30 * 600 МБ (= 18 ГБ!).). Продолжительность запроса на стороне клиента не имеет абсолютно никакого отношения к времени выполнения на стороне сервера.

И действительно, при вызове скрипта из видеообъекта html5 выполняется несколько частичных запросов при наличии max_execution_time=1 (на настольном клиенте с еще более низкой пропускной способностью каждый запрос занимает около 14 минут до прерывания и передает около 500 МБ).

Наконец, я был просто сбит с толку, потому что существует такая огромная разница между продолжительностью запроса на стороне клиента и временем выполнения на стороне сервера.