Блог

Я тщательно профилировал код, пока не обнаружил, что следующий код выделяет более 1 ГБ оперативной памяти в последней версии Chrome в приватном режиме, когда размер «массива» составляет около 33 МБ, размер на самом деле не имеет значения, это всего лишь файл такого размера, с которым я запускал свойтесты. Я не знаю, как сгенерировать такой большой Uint8Array в коде для вашего теста, поэтому приведенный ниже код не может быть запущен как есть, но, возможно, вы все равно сможете это понять и помочь мне с этим.

     const bytesToString = function (array) {
      let uint8Array = new Uint8Array(array);
      let length = uint8Array.byteLength;

      let stringToEncode = "";

      for (let i = 0; i < length; i  ) {
        stringToEncode  = String.fromCharCode(uint8Array[i]);
      }

      return stringToEncode;
   }
 

При раскомментировании «цикла for» потребление оперативной памяти остается на том же уровне во время выполнения моего кода, как только «цикл for» активен, потребление увеличивается до более чем 1 ГБ. В какой-то момент это, конечно, приводит к GC, но у меня общая проблема с памятью, когда браузер в конечном итоге выйдет из строя из-за чрезмерного потребления памяти, и я пытаюсь выяснить, является ли эта функция проблемой.
С помощью анализатора производительности из Chrome я мог видеть, что GC вызывается много раз, я не знаю, как работает GC из Chrome, потому что вы можете прочитать много «второстепенных GC» и в какой-то момент в конце «Major GC», и мне было интересно, действительно ли «Minor GC» не работает.означает, что ОЗУ освобождается, а скорее «собирается», и только на более позднем этапе «основной сборщик данных» действительно освобождает ОЗУ. Если это так, я полагаю, что между вызовом этой функции и «Основным GC» мой код запускает что-то, что также требует больше оперативной памяти, чем обычно, а затем происходит сбой браузера. Если это так, возникает вопрос, есть ли лучшая реализация для моей функции или я могу манипулировать GC? Насколько я мог прочитать, я не могу.

Строки в JS неизменяемы, поэтому каждый раз, когда вы добавляете символ, он создает новую строку, которая на 1 символ длиннее предыдущей. GC не будет запускаться, пока все не будет сделано, поэтому вы застряли с множеством строк различной длины.

Вам нужны другие способы объединения строк. В этом случае вся ваша функция может быть записана как String.fromCharCode(...array) (хотя, если вы действительно хотите создать строку из двоичных данных, вам следует рассмотреть возможность использования TextDecoder вместо этого, который поддерживает различные кодировки, с оговоркой, что он недоступен в таких средах, как Node.js ).

Обновление: String.fromCharCode похоже, не работает для очень больших массивов (существует ограничение на количество параметров для любой функции), поэтому вместо этого вы можете попытаться сопоставить массив с 1-символьными строками, а затем объединить их вместе:

 Array.prototype.map.call(uint8Array, c => String.fromCharCode(c)).join("")
 

(Обратите внимание на использование Array.prototype.map вместо uint8Array.map , поскольку последнее приведет к усечению ваших результатов до Uint8)

Я думаю TextDecoder , что это, вероятно, правильное решение. Но если вы настаиваете, вы также можете попробовать создать большой двоичный объект, а затем прочитать его.

 let blob = new Blob([arrayBuffer], {type: 'application/octet-stream'});
let reader = new FileReader();
reader.onload = function (event) {
  console.log(event.target.result);
};
// Use if you want the UTF-8 encoded version
reader.readAsText(blob);
// Use if you for example need to use the result with "window.btoa" as it was in my case.
reader.readAsBinaryString(blob);