Блог

Вот ссылка на код в действии.

 import sys
import logging
import traceback
from seleniumwire import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from mitmproxy.exceptions import HttpReadDisconnect, TcpDisconnect, TlsException


class DisableLogger():
    def __enter__(self):
       logging.disable(logging.WARNING)
    def __exit__(self, exit_type, exit_value, exit_traceback):
       logging.disable(logging.NOTSET)


options = {
    "backend": "mitmproxy",
    'mitm_http2': False,
    'disable_capture': True,
    'verify_ssl': True,
    'connection_keep_alive': False,
    'max_threads': 3,
    'connection_timeout': None,
    'proxy': {
        'https': 'https://209.40.237.43:8080',
    }
}

chrome_options = Options()
chrome_options.add_argument(
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36")
chrome_options.add_argument("--start-maximized")
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-logging')
chrome_options.add_argument("--disable-application-cache")
chrome_options.add_argument("--ignore-certificate-errors")
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

webdriver.DesiredCapabilities.CHROME['acceptSslCerts'] = True

prefs = {
   "profile.managed_default_content_settings.images": 2,
   "profile.default_content_settings.images": 2
 }

capabilities = webdriver.DesiredCapabilities.CHROME
chrome_options.add_experimental_option("prefs", prefs)
capabilities.update(chrome_options.to_capabilities())

driver = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver',
                          options=chrome_options, seleniumwire_options=options)

with DisableLogger():
    driver.implicitly_wait(60)
    try:
        driver.get('https://www.zillow.com/Houston,-TX/houses/')
        wait = WebDriverWait(driver, 240)
        page_title = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="search-page-react-content"]')))
        if page_title:
            post_links = [i.get_attribute("href") for i in driver.find_elements_by_css_selector("article[role='presentation'] > .list-card-info > a.list-card-link")]
            for individual_link in post_links:
                driver.implicitly_wait(60)
                driver.get(individual_link)
                post_title = driver.find_element_by_css_selector("h1").text
                print(post_title)

    except HttpReadDisconnect as error:
        print('A HttpReadDisconnect Exception has occurred')
        exc_type, exc_value, exc_tb = sys.exc_info()
        print(exc_type)
        print(exc_value)
        print(''.join(traceback.format_tb(error.__traceback__)))
        driver.quit()

    except TimeoutException as error:
        print('A TimeOut Exception has occurred')
        exc_type, exc_value, exc_tb = sys.exc_info()
        print(exc_type)
        print(exc_value)
        print(''.join(traceback.format_tb(error.__traceback__)))
        driver.quit()

    except TcpDisconnect as error:
        print('A TCP Disconnect Exception has occurred')
        exc_type, exc_value, exc_tb = sys.exc_info()
        print(exc_type)
        print(exc_value)
        print(''.join(traceback.format_tb(error.__traceback__)))
        driver.quit()

    except TlsException as error:
        print('A TLS Exception has occurred')
        exc_type, exc_value, exc_tb = sys.exc_info()
        print(exc_type)
        print(exc_value)
        print(''.join(traceback.format_tb(error.__traceback__)))
        driver.quit()

    except Exception as error:
        print('An exception has occurred')
        print(''.join(traceback.format_tb(error.__traceback__)))
        pass

    finally:
        driver.quit()
 

наблюдения

Я отметил, что вы используете бесплатные прокси вместо платного прокси-сервиса. Прокси-сервер в вашем коде hxxps://136.226.33.115:80, который я обнаружил, был стандартным HTTP-прокси, и у него также были проблемы с задержкой, что приводило к тайм-аутам при подключении к вашему целевому веб-сайту.

Еще одно наблюдение заключается в том, что на вашем целевом веб-сайте есть капча, которая срабатывает, когда вы отправляете слишком много запросов на подключение.

Я также отметил, что у вашего прокси-сервера также будут проблемы с подключением, что приведет к отправке сообщений об ошибках в sys.stdout. Это то, с чем вы, скорее всего, столкнулись.

ПРИМЕЧАНИЕ СБОКУ

Сеанс selenium в вашем коде иногда сталкивается с капчей «Я-человек» из Zillow.

 ----------------------------------------
My system information
----------------------------------------

Platform: Mac 
Python Version: 3.9
Seleniumwire: 4.3.1
Selenium: 3.141.0
mitmproxy: 6.0.2
browserVersion: 91.0.4472.114
chromedriverVersion: 90.0.4430.24
IDE: PyCharm 2021.1.2

----------------------------------------