Блог

Главная - Вопросы по программированию - Ошибка анализа файла и сеанс прерван при чтении большого файла состояния

Ошибка анализа файла и сеанс прерван при чтении большого файла состояния

#r

Вопрос:

Я пытаюсь прочитать файл stata объемом 1,2 ГБ (сжатый) или файл stata объемом 2,4 ГБ. Оба являются .dta. Я использую общий Windows VPS с оперативной памятью 128 ГБ.

Мой код:

 setwd("C:/Users/ash/Desktop/GWL Ash")

install.packages("haven")
library("haven")

memory.limit()
#memory.limit(size = 9999999900000)


gwl <- read_dta("NewGWLfullcomp.dta")

Когда я пытаюсь прочитать файл stata объемом 2,4 ГБ, я получаю сообщение об ошибке ниже

 Error: Failed to parse C:/Users/ash/Desktop/Ash GWL/NewGWLfull.dta: Unable to allocate memory.

Когда я пытаюсь прочитать файл stata объемом 1,2 ГБ, я получаю сообщение об ошибке ниже

 R session aborted, R encountered a fatal error. The session was terminated"

Я попытался увеличить лимит памяти, используя приведенный ниже код, но все равно получаю ошибки. Я пробовал как RStudio, так и RGUI, оба дают одни и те же ошибки.

 memory.limit(size = 9999999900000)

R. вывод версии:

 platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          3                           
minor          6.3                         
year           2020                        
month          02                          
day            29                          
svn rev        77875                       
language       R                           
version.string R version 3.6.3 (2020-02-29)
nickname       Holding the Windsock

sessionInfo()

 R version 3.6.3 (2020-02-29)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows Server x64 (build 14393)

Matrix products: default

locale:
[1] LC_COLLATE=English_United States.1252 
[2] LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252
[4] LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

loaded via a namespace (and not attached):
[1] compiler_3.6.3 tools_3.6.3

Комментарии:

1. Я не знаю, что вам следует делать в этом случае. Я думаю, что это слишком большой файл. Сколько оперативной памяти у вашей системы для сравнения?

2. Я использую VPS с 128 ОЗУ. Это общий VPS, но я сомневаюсь, что им пользуется много людей.

3. Можете ли вы доложить об R.version этом ? Я хочу посмотреть, подключены ли вы к Win32.

4. Кроме того, вы можете установить новый лимит memory.limit(size = 6000) , а затем посмотреть, был ли предоставлен лимит, с помощью memory.size() . Если это так, то попробуйте еще раз запустить функцию чтения.

5. Я использую Windows 64. Лимит был предоставлен. Я использую версию R 1.2.5033, я спрошу своего системного администратора, могу ли я загрузить последнее обновление (2021.09.0 351)

Метки: