Блог

У меня есть несколько сайтов, на всех из них есть одно и то же robots.txt.

Когда я изменяю один, я должен изменять другие. Это так беспокоит некоторых.

У меня есть идея, которая породила robots.txt по внутреннему коду. Серверная часть получит данные с удаленного сервера с помощью веб-API и сгенерирует их.

Вот код из учебника по StackOverflow:

 public class OthersController: Controller
    {
    [Route("/robots.txt")]                
    public ContentResult RotbotsTXT()
    {
        String Result=///some code get robots data from remote server.
        return this.Content(Result, "text/plain", Encoding.UTF8);
    }
}
 

Несмотря на это, он хорошо работает в браузере.

Однако я столкнулся со странной ситуацией.

Некоторые пауки получают правильный доступ к маршруту, но не могут его обнаружить(например, паук Байду).

А также, некоторые пауки(например, бот Google) будут странным образом получать доступ к маршруту www.abc.com//robots.txt (в robots.txt никогда не храните здесь), но не www.abc.com/robots.txt.

После возврата к старому способу создания TXT-файла все проблемы будут устранены.

Что не так с моим кодом? Как я могу это решить? Спасибо.

Измените [Route("/robots.txt")] на [Route("robots.txt")] вот так:

 public class OthersController: Controller
    {
    [Route("robots.txt")]                
    public ContentResult RobotsTXT()
    {
        String Result=///some code get robots data from remote server.
        return this.Content(Result, "text/plain", Encoding.UTF8);
    }
}