#robots.txt
#robots.txt
Вопрос:
Должно быть запрещено:
/lev1/*.html
Должно быть разрешено:
/lev1/lev2/*.html
Возможно ли это с robots.txt ?
Ответ №1:
http://www.robotstxt.org/robotstxt.html
https://geoffkenyon.com/how-to-use-wildcards-robots-txt/
Исключить всех роботов из части сервера
User-agent: *
Disallow: /lev1/lev2/*.html