Блог

Я изучаю возможности веб-очистки / обхода и читал о программе Scrapy. Мне было интересно, знает ли кто-нибудь, возможно ли вводить инструкции в скрипт, чтобы после посещения URL-адреса он мог выбирать предварительно выбранные даты из календаря на веб-сайте. ? Конечным результатом является то, что это будет использоваться для сравнения цен на таких сайтах, как Trivago. Я надеюсь, что смогу заставить программу выбирать определенные критерии, такие как даты, один раз на веб-сайте, как это сделал бы человек.

Спасибо, Алекс

Теоретически для веб-сайта, подобного Trivago, вы можете использовать URL-адрес для установки дат, которые вы хотите запросить, но вам нужно будет изучить пользовательские агенты и прокси, потому что в противном случае ваш IP-адрес очень быстро попадет в черный список.