"Запретить: / тестирование / программирование" или "Запретить: / программирование"?

#robots.txt

Вопрос:

Я управляю сайтом под WordPress. Нам пришлось изменить URL сайта на example.com/test . Итак, теперь у меня есть 2 свойства в Search Console: одно с корневым доменом ( example.com ). Другой с подкаталогом ( example.com/test ).

Всякий раз, когда я выполняю поиск site:example.com в Google, он возвращает все индексируемые URL-адреса, которые example.com/test относятся к домашней странице. Следовательно, корень домена example.com больше не индексируется.

В robots.txt Мне нравится запрещать некоторые URL, такие как example.com/test/programming .

Должен ли я запретить: /programming ИЛИ disallow: /test/programmming чтобы example.com/test/programming это стало заблокированным?

1. Вы ожидаете, что другая страница будет проиндексирована, если вы заблокируете этот URL? Или вы хотите, чтобы документ example.com/test/programming вообще не просматривался, независимо от того, по какому URL?

2. я хочу, чтобы этот URL-адрес вообще не сканировался (example.com/test/programming ) просто чтобы вы знали, что URL моего сайта example.com/test не корневой домен

Ответ №1:

Disallow значения всегда представляют начало URL-пути.

Для https://example.com/test/programming , путь /test/programming .

Итак, Disallow: /test/programming будут ли блокироваться URL-адреса, подобные этим:

https://example.com/test/programming
https://example.com/test/programming/
https://example.com/test/programming.html
https://example.com/test/programming/foo/bar

И Disallow: /programming будут ли блокироваться URL-адреса, подобные этим:

https://example.com/programming
https://example.com/programming/
https://example.com/programming.html
https://example.com/programming/foo/bar

1. / проблема в том, что мой сайт — это wordpress, который я использую example.com/test в качестве моей домашней страницы моя карта сайта example.com/test/siteamp.xml и мой файл robots находится под example.com/robots.txt я просто хочу знать, какой URL-адрес боты прочитали перед /

2. @emma: Я не понимаю, почему ты думаешь, что это проблема. URL-адрес sitemap не имеет значения в этом контексте, и ваш robots.txt находится в правильном месте. Бот сканирует URL-адреса, на которые он может найти ссылки где-либо. Если вы используете / свяжете URL-адреса с /test/ , это то, что бот посетит.