Сеанс R прерван — Windows — Большие наборы данных

#r #dplyr #feather

Вопрос:

Я пытаюсь объединить несколько баз данных разных лет (с 2009 по 2018 год) с примерно 800 000 наблюдений в каждой в единую базу данных в формате feather, но каждый раз, когда я пытаюсь это сделать, я получаю сообщение «Сеанс R прерван» .

Я уже пытался почистить .Ристория

 rm(list = ls(all.names = TRUE)) 
gc()
 

и переустановите пакеты, которые я использую (dplyr и feather)

Но все равно ошибка сохраняется. У кого-нибудь есть какие-либо предложения о том, как решить эту проблему?

Комментарии:

1. Попробуйте data.table вместо dplyr. Это может помочь. Если это не сработает, попробуйте командную строку R, а не Rstudio. И в противном случае попробуйте использовать sqlite.

2. Что за «слияние» вы делаете, с каким кодом? Является ли это соединением с неуникальными ключами-это один из сценариев, который может привести к слишком большим результатам для обработки вашим компьютером.

3. Большое вам спасибо, @phiver!