#python #web-scraping #selenium-chromedriver
#питон #соскабливание паутины #селен-хромированный привод
Вопрос:
Я пытаюсь очистить linkedin для поиска людей, но у меня проблема.
Вот мой код:
# using Selenium to fetch user id's browser = webdriver.Chrome(chromedriver_autoinstaller.install()) #username, password = (username, password) browser.get('https://www.linkedin.com/uas/login') elementID = browser.find_element_by_id('username') elementID.send_keys(username) elementID = browser.find_element_by_id('password') elementID.send_keys(password) elementID.submit() query_link = 'https://www.linkedin.com/search/results/people/?keywords=' key browser.get(query_link) src = browser.page_source soup = BeautifulSoup(src, 'lxml') # print('SOUPnnn', soup) profiles = soup.find_all('li', {'class': 'reusable-search__result-container'}) results = [] for i, profile in enumerate(profiles): user_dict = {} url = profile.find('a', {'class': 'app-aware-link'})['href'].split('?mini')[0] try: p_id = re.search(r'https://www.linkedin.com/in/([^/?] )', url).group(1) name = profile.find('span', {'aria-hidden': 'true'}).text try: headline = profile.find('div', {'class': 'entity-result__primary-subtitle t-14 t-black t-normal'}) .text.replace('n', '') except: headline = None try: location = profile.find('div', {'class': 'entity-result__secondary-subtitle t-14 t-normal'}) .text.replace('n', '') except: location = None try: past = profile.find_all('div', {'class': 'linked-area flex-1 cursor-pointer'})[1] .text.replace('n', '') except: past = None try: photo_url = profile.find('img')['src']#.replace('100_100', '200_200') except: photo_url = None user_dict['name'] = name user_dict['url'] = url user_dict['public_id'] = user = re.search(r'https://www.linkedin.com/in/([^/?] )', url).group(1) user_dict['headline'] = headline user_dict['location'] = location user_dict['past'] = past user_dict['photo_url'] = photo_url results.append(user_dict) except: pass browser.close() return results
Я пытаюсь найти людей, но когда я запускаю код, а окно находится в фоновом режиме, оно возвращает мне пустой список.С другой стороны, если я запускаю код и открываю окно(щелкаю по окну), оно выдает желаемый результат, так в чем же именно проблема?
Комментарии:
1. Я предлагаю вам принять и поддержать данные вам ответы. Это может увеличить ваши шансы получить хорошие ответы…