#python #web-scraping #scrapy
Вопрос:
Я создаю монитор продукта для веб-сайта, но столкнулся с проблемой. При сканировании Scrapy не получает обновленную версию сайта. Когда я сканирую, пока он есть на складе, данные json с сайта возвращаются из запаса. Если я проверяю веб-сайт из своего браузера, переменная JSON-это InStock. Если я сверну веб-сайт, переменная JSON будет InStock.
Если я проверяю продукт, который всегда есть на складе, с помощью scrapy, переменная JSON возвращает InStock.
Я попробовал разные настройки с пауками, и ничего не сработало.
Я также попытался использовать scrapy fetch команду и очистить оболочку, но ничто не дало мне обновленные данные JSON.
Данные JSON находятся в элементе сценария ld json на веб-сайте.
Это сайт, который я пытаюсь очистить: https://www.target.com/p/meshmonitors/-/A-79659825
Комментарии:
1. Пожалуйста, обновите вопрос на странице, которую вы просматриваете.
2. @Хоакин, я добавил это
3. > Если я проверяю продукт, который всегда есть на складе, с помощью scrapy, переменная JSON возвращает InStock. Ты имеешь в виду, что на складе, верно?
4. @Хоакин, в основном, если товар есть на складе, он возвращается в наличии. Если товара нет на складе, он возвращается с запасом. Если товар, которого недавно не было на складе, поступил в продажу, переменная в json изменяется на InStock, но scrapy все равно выходит из запаса. Однако локон встает на место.