Блог

Главная - Вопросы по программированию - R преобразование наборов XML-узлов элементов во фрейм данных при очистке таблицы с помощью rvest

R преобразование наборов XML-узлов элементов во фрейм данных при очистке таблицы с помощью rvest

#r #web-scraping #rvest

Вопрос:

Мы извлекаем контактную информацию из https://nbpa.com/agents/directory . На странице нет таблицы, а, скорее <div>s , с <p> элементами внутри:

введите описание изображения здесь

Мы можем захватить этот элемент с помощью:

 agents_url <- "https://nbpa.com/agents/directory"
agents_page <- agents_url %>% read_html()
agents_page_elements <- agents_page %>% html_nodes('div.accordion-inner')

agents_page_elements[1]
agents_page_elements[1] %>% html_nodes('p')

Мы хотим преобразовать это в 1-строчный фрейм данных:

 Cell             Email                  Professional Credentials:
(123) 456-7890   firstlast@email.com    "NBA Certified Player Agent..."

Возможно ли это сделать? Сложная часть этой веб-скребка заключается в том, что каждый внутренний div на веб-сайте имеет разные элементы p. У некоторых есть сотовый: и электронная почта:, у других есть образование:, Адрес: и т.д. Он варьируется в зависимости от аккордеона-внутреннего. Если мы сможем превратить каждый отдельный узел в 1-строчный фрейм данных, мы сможем затем связать все фреймы данных вместе, используя plyr::rbind.fill() .

Ответ №1:

Мы можем использовать read.dcf после получения как text 

 new <- agents_page_elements[1] %>%
     html_nodes('p') %>%
     html_text()
as.data.frame(read.dcf(textConnection(new)))

-выход

     Cell                            Email                                                             Professional Credentials
1 (240) 668-4241 barry.aberdeen@tributesports.com NBA Certified Player Agent, FIBA Certified Player Agent, WNBA Certified Player Agent

Для нескольких элементов используйте map 

 library(purrr)
library(dplyr)
library(stringr)
out <- map_dfr(agents_page_elements, ~ {
       new <- .x %>% 
               html_nodes('p') %>%
               html_text() %>%
               str_replace_all("n\s*", " ")
    if(length(new) > 0) {
       as.data.frame(read.dcf(textConnection(new)))
     } else NULL

     })

-выход

 > dim(out)
[1] 455   9
> head(out, 2)
            Cell                            Email                                                             Professional Credentials    Title
1 (240) 668-4241 barry.aberdeen@tributesports.com NBA Certified Player Agent, FIBA Certified Player Agent, WNBA Certified Player Agent     <NA>
2 (281) 773-7339                             <NA>                                     Texas Bar No. 24050197|Wisconsin Bar No. 1045470 Attorney
             Company Name                                                                                             Education Address Office International
1                    <NA>                                                                                                  <NA>    <NA>   <NA>          <NA>
2 Adams amp; Associates, LLC University of Southern California B.S. |University of Houston - M.B.A |University of Wisconsin - J.D.    <NA>   <NA>          <NA>

Комментарии:

1. это здорово, спасибо. как вы думаете, можно ли также захватить имена? Я пытаюсь обновить это решение, чтобы также захватить имена. Они расположены в родственных элементах <a>, что делает захват имен немного сложным

2. Да, я сделал что-то в этом роде и узнал имена. Спасибо

3. Мой разум официально немного потрясен этим. R просто продолжает меня удивлять. Спасибо за это.

4. @QHarr В R , вам не нужно явно указывать return . это вернет значение последнего вычисленного выражения. т. е. map это своего рода lapply — lapply(1:5, function(x) data.frame(col1 = x))

5. @QHarr я обычно не использую close с read.table(textConnection(.. etc. Но, как вы сказали, может быть, лучше закрыть

Метки: