Javascript и «приостановлено перед возможным сбоем памяти»

#javascript #html #arrays #json #filereader

Вопрос:

у меня проблема с чтением файлов .. я использую javascript для чтения файла excel и выполнения некоторых процедур обработки данных в простом html — приложении (только клиент-без сервера). все идет нормально, но при работе с 50 тыс. строк и около 20 столбцов и занимает около 8 секунд для чтения данных и хранения их в массиве. я также попробовал 100 тыс. строк, но это заняло больше времени, но когда я попробовал 500 тыс., у меня появилось это сообщение «приостановлено перед возможным сбоем памяти». мой вопрос в том, что это за проблема и как я могу с ней справиться? и что мне нужно сделать, если я хочу просмотреть огромные данные ! моя работа связана с огромными данными, объем которых достигает 5 миллионов или может составлять 10 миллионов, и я хочу работать с ними, преобразуя csv или текст в массивы ..как лучше всего это сделать без использования серверной части и СУБД?

Комментарии:

1. Вам нужно будет предоставить свой исходный код (я бы сказал, если он не превышает 50 строк) или минимальный пример, представляющий ваши основные операции с данными в файле. Например, просто знать, что вы читаете данные и сохраняете их в массиве, может быть причиной для беспокойства, поскольку вам не обязательно хранить «все» (или любые) данные в массиве-в зависимости от того, что вы делаете с данными. Надеюсь, я ясно выразился-вам нужно описать характер вашего доступа к данным и то, как они используются. Без этого ваш вопрос звучит очень расплывчато и в то же время совершенно обобщенно.

2. Я думаю, что зашел бы так далеко, чтобы сказать, что JavaScript изначально не является правильным языком для обработки данных в таком масштабе.

3. @esqew В JavaScript нет ничего плохого (будь то в браузере или с помощью другого хоста сценариев, например, Node), сегодня он запускает всевозможные сервисы и достаточно быстр для многих вещей. Проблемы начинаются, когда люди пытаются запихнуть гигабайты данных в объекты JavaScript, собранные в мусорном контейнере, или что-то в этом роде. Но это в значительной степени шаблон программирования, а не языковая проблема.

4. @amn Хотя я бы согласился с мнением, что, безусловно, можно было бы выполнить эти требования с помощью JavaScript, я нахожу неточным говорить, что это правильный/лучший инструмент для работы.

5. Пожалуйста, укажите дополнительную информацию в своем запросе или поделитесь каким-нибудь кодом, который вы уже пробовали