urllib RobotFileParser — кажущиеся противоречивыми правила в robots.txt

Post author:admin
Запись опубликована:17 января, 2022
Post category:Вопросы по программированию

#python #urllib #robots.txt Вопрос: Вот соответствующие части amazon.co.jp/robots.txt: User-agent: * Disallow: /-/ Disallow: /gp/aw/shoppingAids/ Allow: /-/en/ URL, который я хочу проверить: "https://www.amazon.co.jp/-/en/035719/dp/B000H4W9WG/ref=sr_1_61?dchild=1amp;keywords=dot matrix printeramp;qid=1617229306amp;s=computersamp;sr=1-61" Теперь это соответствует запрету: Disallow: /-/…

Продолжить чтение