Запрещающий /lev1 /*.html, но разрешающий /lev1 / lev2 /*.html

#robots.txt

#robots.txt

Вопрос:

Должно быть запрещено:

 /lev1/*.html
  

Должно быть разрешено:

 /lev1/lev2/*.html
  

Возможно ли это с robots.txt ?

Ответ №1:

http://www.robotstxt.org/robotstxt.html

https://geoffkenyon.com/how-to-use-wildcards-robots-txt/

Исключить всех роботов из части сервера

 User-agent: *
Disallow: /lev1/lev2/*.html