Блог

Я пытаюсь очистить этот URL-адрес, чтобы получить имена 50 лучших исполнителей soundcloud в Канаде.

Используя SelectorGadget, я выбрал имена исполнителей, и он сообщил мне, что путь ‘.sc-link-light’.

Моя первая попытка заключалась в следующем:

 library(rvest)
library(stringr)
library(reshape2)

soundcloud <- read_html("https://soundcloud.com/charts/top?genre=all-musicamp;country=CA")

artist_name <- soundcloud %>% html_nodes('.sc-link-light') %>% html_text()

 

который выдал artist_name в виде списка из 0.

Со второй попытки я изменил последнюю строку на:

 artist_name <- soundcloud %>% html_node(xpath='//*[contains(concat( " ", @class, " " ), concat( " ", ".sc-link-light", " " ))]') %>% html_text()
 

что снова дало тот же результат.

Что именно я делаю не так? Я считаю, что это должно дать мне имена художников в списке. Любая помощь приветствуется, спасибо.

Веб-страница, которую вы пытаетесь очистить, является динамической. В результате вам нужно будет использовать библиотеку, такую как RSelenium. Пример сценария приведен ниже:

 library(tidyverse)
library(RSelenium)
library(rvest)
library(stringr)

url <- "https://soundcloud.com/charts/top?genre=all-musicamp;country=CA"

rD <- rsDriver(browser = "chrome")
remDr <- rD[["client"]]


remDr$navigate(url)
pg <- read_html(remDr$getPageSource()[[1]])
artist_name <- pg %>% html_nodes('.sc-link-light') %>% html_text()


####clean up####
remDr$close()
rD$server$stop()
rm(rD, remDr)
gc()

system("taskkill /im java.exe /f", intern=FALSE, ignore.stdout=FALSE)