Robotparser возвращает неверный результат?

#python Вопрос: Я тестируюсь с этим сайтом: from urllib import robotparser rp = robotparser.RobotFileParser() rp.set_url("https://www.dealstreetasia.com/robots.txt") rp.read() rp.can_fetch("*", "https://www.dealstreetasia.com/?s=travel") Он возвращает "True", но, как я догадываюсь из robot.txt, он должен возвращать…