#python #parameters #scrapy
#python #параметры #scrapy
Вопрос:
здесь новый программист. Пытаюсь выяснить, имеет ли Scrapy параметр end_url точно так же, как у него есть параметр start_url . Я хочу сканировать определенное количество элементов с данного веб-сайта.
Возможно ли это? Или я должен просто использовать правила обхода
start_url=[""]
end_url=[""]
ПРИМЕЧАНИЕ: я новичок в использовании Scrapy, и я прочитал их документацию. Но, похоже, я не могу понять это.
Любая помощь будет высоко оценена. Спасибо
Комментарии:
1. Как будет вести себя этот параметр «end_url»? Довольно ясно, как
start_urlэто работает; остается только гадать, как должен вести себя параметр «end_url».2. «Я хочу сканировать определенное количество элементов с данного веб-сайта». : проверьте CLOSESPIDER_ITEMCOUNT
3. @deceze Я надеялся указать конечный URL-адрес в этом параметре. Предположим, я начал с www.example.com/page/1 /, Есть ли способ завершить сканирование в www.example.com/page/2/
4. Поскольку одна веб-страница содержит ссылки на множество других веб-страниц, все из которых могут или не могут в конечном итоге привести к вашему «end_url» или нет, или могут вести туда по кругу, это само по себе довольно бессмысленно. Вам решать прекратить «поиск» дополнительных ссылок для обхода.
5. @paultrmbrth Я не сталкивался с этим раньше. Это кажется жизнеспособным решением, однако я действительно не знаю, как включить это в мой существующий код. И публикация этого кода для вас для просмотра, похоже, будет пустой тратой вашего времени.