Блог

Каким-то образом один из наших пакетов вчера вечером потерпел неудачу, размер файла, который должен был быть сгенерирован, составляет 500 МБ, в нем содержится около 500 000 записей (строк).

Просто интересно, существует ли какой-либо жесткий предел размера файла для файлов .csv?

Я понимаю, что приложение Excel имеет жесткий предел в 60 тысяч строк, но это открытие.

Максимальный размер любого файла в файловой системе определяется самой файловой системой, а не типом файла или суффиксом имени файла. Итак, ответ отрицательный.

Но, как вы сказали, приложение, которое вы используете для обработки файла, может иметь ограничения.

В зависимости от того, как вы обрабатываете файл CSV, вы можете столкнуться с узкими местами в памяти и / или процессоре при работе с большими файлами.

Кроме того, в 32-разрядных системах Linux существует ограничение на размер файла размером 2 ГБ, которое ограничивает ваш максимальный полезный размер CSV независимо от мощности вашего процессора и памяти. С учетом сказанного, такие большие CSV-файлы являются хорошим признаком того, что вам следует рассмотреть более эффективное и надежное решение для обработки ваших данных, например, систему баз данных.