#robots.txt #googlebot
#robots.txt #робот googlebot
Вопрос:
Я настроил robots.txt чтобы остановить сканирование Google моего сайта, поскольку он находится в стадии разработки:
# robots.txt
User-agent: *
Disallow: /
Но в журнале указано, что робот Googlebot посещает различные и случайные части моего сайта. Только по одной странице за раз. Почему они это делают и как я могу помешать им это делать?
Извлечение журнала:
66.249.72.174 — — [07/ май/2011:08:12:11 -0700] » GET /?page=2amp;atype=newamp;filter =h HTTP/1.1″ 200 10156 — «Mozilla/5.0 (совместимый; Googlebot / 2.1; http://www.google.com/bot.html ),gzip (gfe),gzip(gfe),gzip(gfe)»
Я действительно хочу, чтобы Google сканировал мой сайт, просто не сейчас.
Комментарии:
1. У инструментов веб-мастера Google есть (или был, когда я просматривал в последний раз) отчет, показывающий, как / когда они сканировали ваш сайт и видели ли они и выполнили ли они robots.txt