Я пытаюсь выяснить, как очистить данные со следующего URL: https://www.aap.org/en-us/advocacy-and-policy/aap-health-initiatives/nicuverification/Pages/NICUSearch.aspx

Вот тип данных:

Похоже, что все заполняется из базы данных и загружается на веб-страницу с помощью javascript.

Я делал что-то подобное в прошлом, используя selenium и PhantomJS , но я не могу понять, как получить эти поля данных в Python.

Как и ожидалось, я не могу использовать pd.read_html для решения проблем такого типа.

Возможно ли проанализировать результаты из:

 from selenium import webdriver

url="https://www.aap.org/en-us/advocacy-and-policy/aap-health-initiatives/nicuverification/Pages/NICUSearch.aspx"

browser = webdriver.PhantomJS()
browser.get(url)
content = browser.page_source
  

Или, может быть, для доступа к фактическим базовым данным?

Если нет, то каковы другие подходы, кроме копирования и вставки в течение нескольких часов?

Редактировать:

Основываясь на приведенном ниже ответе, от @thenullptr я смог получить доступ к материалу, но только на странице 1. Как я могу адаптировать это для просмотра всех страниц [рекомендации по правильному анализу]? Моя конечная цель — иметь это в фрейме данных pandas

 import requests
from bs4 import BeautifulSoup

r = requests.post(
    url = 'https://search.aap.org/nicu/', 
    data = {'SearchCriteria.Level':'1', 'X-Requested-With':'XMLHttpRequest'}, 

) #key:value
html = r.text

# Parsing the HTML
    soup = BeautifulSoup(html.split("</script>")[-1].strip(), "html")
div = soup.find("div", {"id": "main"})

div = soup.findAll("div", {"class":"blue-border panel list-group"})
def f(x):
    ignore_fields = ['Collapse all','Expand all']
    output = list(filter(bool, map(str.strip, x.text.split("n"))))
    output = list(filter(lambda x: x not in ignore_fields, output))
    return output
results = pd.Series(list(map(f, div))[0])
  

Чтобы следовать моему последнему комментарию, приведенное ниже должно дать вам хорошую отправную точку. Просматривая вызовы XHR, вы просто хотите посмотреть, какие данные отправляются и принимаются от каждого из них, чтобы точно определить тот, который вам нужен. Ниже приведены необработанные данные POST, отправляемые в API при выполнении поиска, похоже, вам нужно использовать хотя бы один и включить последний.

 {
    "SearchCriteria.Name": "smith",
    "SearchCriteria.City": "",
    "SearchCriteria.State": "",
    "SearchCriteria.Zip": "",
    "SearchCriteria.Level": "",
    "SearchCriteria.LevelAssigner": "",
    "SearchCriteria.BedNumberRange": "",
    "X-Requested-With": "XMLHttpRequest"
}
  

Вот простой пример того, как вы можете отправить post-запрос, используя библиотеку запросов, веб-страница ответит необработанными данными, чтобы вы могли использовать BS или аналогичный для их анализа, чтобы получить необходимую информацию.

 import requests
r = requests.post('https://search.aap.org/nicu/', 
data = {'SearchCriteria.Name':'smith', 'X-Requested-With':'XMLHttpRequest'}) #key:value
print(r.text)
  

С принтами <strong class="col-md-8 white-text">JOHN PETER SMITH HOSPITAL</strong>...

https://requests.readthedocs.io/en/master/user/quickstart/