#robots.txt
#robots.txt
Вопрос:
Я хочу запретить роботам сканировать любую папку / подпапку.
Я хочу запретить ff:
http://example.com/staging/
http://example.com/test/
И это код внутри моего robots.txt
User-agent: *
Disallow: /staging/
Disallow: /test/
Это правильно? и будет ли это работать?
Ответ №1:
Да, это правильно! Вы должны добавить команду Запретить построчно к каждому пути.
Вот так:
User-agent: *
Disallow: /cgi-bin/
Disallow: /img/
Disallow: /docs/
Хороший трюк — использовать некоторые Robot.txt Генератор.
Еще один совет — проверьте свой Robot.txt использование этого инструмента Google
Комментарии:
1. ах, так что мне нужно добавить Запрет: в первой строке без какого-либо значения.
2. Извините. Нет, это не так. Исправлено в anwser.