#python
Вопрос:
Я тестируюсь с этим сайтом:
from urllib import robotparser
rp = robotparser.RobotFileParser()
rp.set_url("https://www.dealstreetasia.com/robots.txt")
rp.read()
rp.can_fetch("*", "https://www.dealstreetasia.com/?s=travel")
Он возвращает «True», но, как я догадываюсь из robot.txt, он должен возвращать «False»
Robots.txt как показано ниже:
Агент пользователя: *
Запретить: /wp-администратор/
Запретить: /?s=
Запретить: /поиск/
Запретить: /тег/
Запретить: /подача/
Запретить: /пользователь/
Разрешить: /пользователь/планы
Разрешить: /пользователю/рассылку новостей
Задержка обхода: 1
Не могли бы вы дать мне несколько советов по этому делу? Спасибо!