#python #json #selenium #web-scraping #selenium-chromedriver
#python #json #селен #веб-очистка #selenium-chromedriver
Вопрос:
Я не могу очистить данные с веб-сайта, у меня есть URL-ссылка https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be когда я открываю эту ссылку, при прокрутке страницы отображается множество списков заданий, которые автоматически загружаются, чем больше список заданий, когда я просматриваю страницу, отображается только JavaScript, и мне нужно извлечь следующие данные местоположение задания, заданиеописание, URL-адрес работы, полный рабочий день или неполный рабочий день, минимальная квалификация в формате json Я понятия не имею, как это сделать, ниже приведен мой код
from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from datetime import datetime
startTime = datetime.now()
import time
print('startTime',startTime)
driver = webdriver.Chrome('C:\Users\arif khan\Downloads\chromedriver.exe')
driver.get('https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be')
Комментарии:
1. ну, ваш код действительно ничего не делает, просто открывает веб-сайт
2. я не понимаю, что я могу сделать дальше, пожалуйста, сделайте что-нибудь
3. из того, что я видел, вам нужно будет получить доступ к параметрам? в таких тегах, как
title=4. но я не могу найти элемент при проверке страницы
5. ну, я мог бы, но в любом случае из того, что я видел, вам нужно получить доступ к параметрам элемента, например
title=, если вы не можете получить к ним доступ с помощью selenium, возможно, перед ними есть элемент, который скрывает элемент ниже, и я думаю, что у кого-то уже были вопросы по этому поводу
Ответ №1:
Вы должны извлечь его из div:
jobs = driver.find_elements_by_xpath("//div[@class='WNOO WBOO']/ul/li")
for job in jobs:
print(job)
Находясь на веб-сайте, щелкните правой кнопкой мыши и используйте «Проверить элемент», чтобы просмотреть код для любого конкретного элемента. Например, если щелкнуть правой кнопкой мыши по тексту «Финансовый менеджер» и нажать «Проверить элемент», откроется код для него.