Блог

У меня есть скрипт для анализа конкретной веб-страницы. Когда я устанавливаю безголовое false, кукловод не загружает страницу

  await page.goto('https://www.google.com', {
            waitUntil: 'load',
            // Remove the timeout
            timeout: 0
        });
  

Я пробовал с множеством конфигураций, таких как:

  const args = [
        '--no-sandbox',
        '--enable-logging',
        ' --v=1',
        '--disable-gpu',
        '--disable-extension',
        '--disable-setuid-sandbox',
        '--disable-infobars',
        '--window-position=0,0',
        '--ignore-certifcate-errors',
        '--ignore-certifcate-errors-spki-list',
        '--user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3312.0 Safari/537.36"'
    ];



    const options = {
        args,
        headless: false, // default is true
        userDataDir: "./user_data",
        defaultViewport: null,
        devtools: true,
        ignoreHTTPSErrors: true,
    };
  

Но скрипт останавливается await page.goto до истечения времени ожидания.

Насколько я понимаю, вы анализируете не google.com страницу. Первое, что следует учитывать, это waitUntil: 'load' . Что он сделал, он считает, что навигация завершена при запуске события загрузки.

Событие загрузки запускается, когда вся веб-страница (HTML) загружена полностью, включая все зависимые ресурсы, такие как файлы JavaScript, файлы CSS и изображения.

Существует большая вероятность того, что это событие не запускается в вашем случае по разумному тайм-ауту, поэтому я бы посоветовал не полагаться на это waitUntil , а использовать другое ожидание, например, наличие какого-либо селектора

 await page.goto('https://www.google.com');
await page.waitForSelector('[name="q"]');