Блог

Главная - Вопросы по программированию - Как исправить «Ошибку в open.connection (x, «rb»): ошибка HTTP 503″ при очистке веб-сайтов с помощью rvest?

Как исправить «Ошибку в open.connection (x, «rb»): ошибка HTTP 503″ при очистке веб-сайтов с помощью rvest?

#r #http #rvest

#r #http #rvest

Вопрос:

Пытаюсь очистить серию веб-сайтов. Ссылки находятся во фрейме данных, называемом linksRaw. Это работает при запуске только одного URL-адреса через html_node и html_text. Я добавил цикл for для того, чтобы работать с каждым URL-адресом в linksRaw. Когда я добавил этот цикл, он выдал мне эту ошибку: Ошибка в open.connection (x, «rb»): ошибка HTTP 503. Я пытался добавить рандомизированные временные задержки, но безуспешно. Я также прочитал некоторые другие сообщения на сайте об этом, но ни одно из них не было очень полезным. Любые советы будут высоко оценены.

 to_get <- linksRaw
pb <- progress_estimated(length(to_get))
for(i in 1:nrow(linksRaw)) {
pb$tick()$print()
row <- linksRaw[i, ]
url <- row
webpage <- read_html(url)
contentHTML <- html_nodes(webpage, 'p  ul li , div:nth-child(6) p 
, #block-system-main div div li')
content <- html_text(contentHTML)
Sys.sleep(sample(10, 1) * 0.1)
}