Блог

Главная - Вопросы по программированию - чтение сохраненных твитов с поиском в формате rds

чтение сохраненных твитов с поиском в формате rds

#r #twitter #tweets #rtweet

#r #Twitter #твиты #rtweet

Вопрос:

Недавно я использовал функцию search_fullarchive в пакете rtweet для чтения большого количества твитов (~ 500 000). Поскольку файл очень большой, и мне нужно было перенести данные на другой компьютер, я сохранил файл в формате rds, который оказался меньше по размеру. Я использовал следующую функцию в базе R для чтения в файле:

 tweet<-readRDS("20201211164534-1.rds")

Однако вместо набора данных я получил объект, который показан на изображении ниже

скриншот просмотра (твита)

 typeof(tweet)
[1]"list"

Я открыл каждый узел, но не могу найти набор данных. У кого-нибудь есть идея, если / где я могу найти набор данных с моими твитами в файле rds? Спасибо!

Обновление: кто-то спросил о функции, которую я использовал для сохранения набора данных твитов. Я не использовал функцию, но r автоматически сохранял файлы rds в моем каталоге, когда я запускал функцию search_fullarchive, как показано ниже:

 fever.june.1<-search_fullarchive(
  fever,#Search query on which to match/filter tweets
  n = 500000, #Number of tweets to return; it is best to set this number in intervals of 100 for the '30day' API and either 100 (for sandbox) or 500 (for paid) for the 'fullarchive' API. Default is 100.
  fromDate = 202006010000, #Oldest date-time (YYYYMMDDHHMM)
  toDate = 202006302359,#Newest date-time (YYYYMMDDHHMM)
  env_name = "develop",#Name/label of developer environment to use for the search.
  #safedir = "~/Desktop/",#Name of directory to which each response object should be saved.
  parse = TRUE,#Logical indicating whether to convert data into data frame.
  token = token #A token associated with a user-created APP
)

Комментарии:

1. Какой код вы использовали для создания RDS в первую очередь? У вас был httr rvest объект или? Похоже, что твиты находятся в content , но они просто закодированы в необработанном виде.

2. Спасибо за комментарий! Я не использовал никакого кода для его сохранения. RDS автоматически сохраняется в моем каталоге, но размер файлов кажется правильным

3. Я не уверен, что понимаю, как это возможно. Файлы RDS обычно не сохраняются автоматически.

4. Я добавил код, который я запустил для получения твитов. Я считаю, что это не каждая функция, но, может быть, эта функция? Дайте мне знать, что вы думаете

5. Согласно документации, эта функция вернет tibble . Единственная ссылка на файлы RDS в этом пакете — это функция «прокрутки» для обработки запросов на выгрузку. Вы можете попробовать следовать приведенным здесь советам, чтобы открыть эти временные файлы github.com/ropensci/rtweet/issues/388 . Хотя лучшей практикой было бы явно сохранить нужные вам данные самостоятельно с помощью чего-то вроде saveRDS("fever.june.1", "fever.rds")