Блог

Я использую Selenium для автоматизации веб-очистки в среде AWS Lambda. безголовый chrome 69.0.3497.81 драйвер chrome = 2.43.600233 платформа = Linux 4.14.231-180.360.amzn2.x86_64 x86_64

Я использовал это для запуска chrome без головы в других сценариях, и это работает идеально. Однако для некоторых веб-страниц мне возвращается «Страница не найдена». Когда я запускаю сценарий без параметров безголовых на своей локальной Mac OS, веб-страница загружается нормально. Насколько мне известно, я не могу запустить драйвер chrome без опций без головы в среде AWS Lambda.

Параметры, которые я использую, приведены ниже:

 class WebDriver(object):

    def __init__(self):
        self.options = Options()
        self.options.binary_location = '/opt/headless-chromium'
        self.options.add_argument('--headless')
        self.options.add_argument('--no-sandbox')
        self.options.add_argument('--start-maximized')
        self.options.add_argument('--start-fullscreen')
        self.options.add_argument('--single-process')
        self.options.add_argument('--disable-dev-shm-usage')
        self.options.add_argument("--disable-gpu")
        self.options.add_argument("--disable-extensions")
        self.options.add_argument("--window-size=1920,1080")
        self.options.add_argument("--proxy-server='direct://'")
        self.options.add_argument("--proxy-bypass-list=*")

    def get(self):
        driver = Chrome('/opt/chromedriver', options=self.options)
        return driver
 

Это проблема с параметрами, которые я добавляю, или есть конкретные параметры, которые можно использовать, чтобы убедиться, что веб-страница загружается правильно? Или это будет проблема с конкретной веб-страницей.

Спасибо