#python #pandas #dataframe #bigdata
Вопрос:
У меня есть файл, содержащий 2,7 Гб необработанных данных, я пытаюсь нормализовать его с помощью панд python, создав из него работоспособный фрейм данных
Похоже, я не могу справиться с размером файла, я попытался прочитать файл по частям или выполнить подстановку перед чем-либо другим, чтобы файл был меньше. Я даже попытался изменить тип dtype на что-то другое, кроме объекта, но это не сработало.
Существует ли надлежащий способ или методология для обработки такого большого файла с помощью python?
Комментарии:
1. Что именно вы подразумеваете под «это не сработало»?
2. Что такое файл gct?
3. Попробуйте dask для огромных файлов.