Блог

Я просто написал код для извлечения некоторых данных.

Скрипт работает почти нормально. Почти, я имею в виду, что я могу получить желаемые результаты, но у меня всегда одна и та же проблема в моей консоли, которая :

 No encoding supplied: defaulting to UTF-8.
 

Проблема в том, что я запускаю цикл с 900 строками, поэтому у меня в 900 раз больше, чем «Кодировка не указана: по умолчанию используется UTF-8».

Возможно ли избавиться от этого? Влияет ли это на скорость процесса?

Вот мой код :

 mykeywords <- readLines("mykeywords.txt", encoding = "UTF-8")
mykeywords <- as.character(mykeywords)

my_user_agent <- "XXXXXXXXXXX"
PAA = list()
max_length = 0

for (i in 1: length(mykeywords)){
  url_to_check <- paste0("https://www.google.com/search?q=",mykeywords[i],"amp;amp;ie=utf-8amp;amp;oe=utf-8amp;amp;client=firefox-b")
  result_get <- GET(url_to_check, user_agent(my_user_agent)) %>% 
    htmlParse(encoding = "UTF-8") %>% 
    xpathSApply('//div[/*]/g-accordion-expander/div/div', xmlValue)
if (is.null(result_get)) {
    PAA[[i]]= NA
  } else {
    result_get = result_get[result_get != "" amp; !is.na(result_get)]
    PAA[[i]] = result_get
    if (length(result_get) > max_length) {
      max_length = length(result_get)}}}