Блог

Главная - Вопросы по программированию - Заставьте Selenium прокручивать LinkedIn, чтобы очистить вакансии

Заставьте Selenium прокручивать LinkedIn, чтобы очистить вакансии

#selenium #selenium-webdriver

Вопрос:

У меня есть этот код, очищающий каждую должность и название компании от :

 https://www.linkedin.com/jobs/search/?geoId=106155005amp;location=Egypt

Это для каждой должности

 job_titles = browser.find_elements_by_css_selector("a.job-card-list__title")
c = []

for title in job_titles:
    c.append(title.text)
print(c)
print((len(c)))

Это для каждого названия компании

 Company_Names = browser.find_elements_by_css_selector("a.job-card-container__company-name")
d = []

for name in Company_Names:
    d.append(name.text)
print(d)
print((len(d)))

Я указал URL выше, там много-много страниц!
как я могу заставить Selenium автоматически открывать каждую страницу и удалять каждый из 4 тысяч доступных результатов?

Ответ №1:

Я нашел способ перехода на каждую страницу, но мне еще предстоит узнать, как очистить каждую страницу. Таким образом, URL-адрес :

  https://www.linkedin.com/jobs/search/?geoId=106155005amp;location=Egyptamp;start=25

Параметр start в URL-адресе увеличивается на 25 с каждой страницы на другую.
поэтому мы добавляем этот фрагмент кода, который успешно перемещает нас на другие страницы:

 page = 25 
pagination = browser.get('https://www.linkedin.com/jobs/search/?geoId=106155005amp;location=Egyptamp;start={}'.format(page))
for i in range(1,40):
    page =  i * 25 
    pagination = browser.get('https://www.linkedin.com/jobs/search/?geoId=106155005amp;location=Egyptamp;start={}'.format(page
Метки: ,