Блог

Я совсем новичок в Splash, и хотя мне удалось настроить Splash на моем Ubuntu 18 (через Splash / Docker), это дает мне разные результаты для этой страницы:https://www.overstock.com/Home-Garden/Area-Rugs/31446/subcat.html

Обычно это отображается следующим образом:

Но когда я пытаюсь отобразить ее в режиме Splash, она отображается следующим образом:

Я попытался изменить пользовательский агент в Splash на этот:

 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36
  

Следовательно, это делает сценарий заставки таким:

 function main(splash, args)
  splash:set_user_agent(
  'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'
  )
  assert(splash:go(args.url))
  assert(splash:wait(0.5))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end
  

Тем не менее, несмотря на эти дополнения, по-прежнему не удается отобразить страницу.

Как я могу заставить Splash отображать эту страницу?

Похоже, для этого overstock.com требуются заголовки a Connection и Accept . Добавьте это в свой запрос, и он должен работать как ожидалось. Проверено на Postman, с Connection: keep-alive amp; amp; Accept: */* заголовками и без них; Я получаю одну и ту же страницу с ошибкой:

После добавления двух заголовков выше:

Поэтому ваш запрос должен быть соответствующим образом отредактирован:

 function main(splash, args)
  splash:set_custom_headers({
     ["Connection"] = "keep-alive",
     ["Accept"] = "*/*",
  })
  assert(splash:go(args.url))
  assert(splash:wait(0.5))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end