Робот Googlebot получает доступ к страницам .aspx, он должен получать доступ только к URL-адресам, удобным для SEO

ProgramBox

Робот Googlebot получает доступ к страницам .aspx, он должен получать доступ только к URL-адресам, удобным для SEO

Post author:admin
Запись опубликована:6 апреля, 2023
Post category:Вопросы по программированию

#asp.net #seo #friendly-url #googlebot

#asp.net #seo #дружественный URL #робот googlebot

Вопрос:

Googlebot получает доступ к .aspx страницам на моем веб-сайте, напримерhttp://mysite.com/thepage.apx?id=32

Я использовал модуль URL Intellgencia для URL-адресов, дружественных к SEO, и на моем веб-сайте также есть ссылки, которые представляют дружественные URL-адреса (или URL-адреса без расширения), например:http://mysite.com/thepage/32.

Однако googlebot получает доступ к исходным URL-адресам (http://mysite.com/thepage.apx?id=32 ).

В robot.txt файл, в который я поместил следующий код:

запретить: *.aspx

Мой вопрос в том, будет ли он скрывать все страницы с .aspx страницами и дружественными URL-адресами (указывающими на те же .aspx страницы) или скрывать страницы только с .aspx расширениями.

Резюме:
робот googlebot получает доступ к одной странице с двумя URL-адресами:

С исходным путем, например, somesite/thepage.aspx?id=xx
С помощью дружественного URL somesite / somepage / xx я хочу, чтобы googlebot получал доступ только к дружественным URL-адресам. Я использую asp.net 2.0 и дружественные URL-адреса отображаются в web.config с использованием intellgencia dll.

Код в web.config с модулем Intellgencia.

 <rewriter>
    <rewrite url="/category/(. )" to="/categoryPage.aspx?Id=$1"/></rewrite>
</rewriter>

1. робот googlebot получит доступ к тому, к чему вы разрешаете ему доступ. Включают ли какие-либо из ваших ссылок ?id=xx , а затем перенаправляют после факта?

2. робот googlebot обращается к той же странице с двумя URL-адресами: 1 с исходным путем, например, somesite / thepage.aspx?id=xx 2: с дружественным URL somesite / somepage / xx Я хочу, чтобы робот googlebot получал доступ только к дружественному URL. Я использую asp.net 2.0 и дружественные URL-адреса отображаются в web.config с использованием intellgencia dll.

Ответ №1:

Я думаю, что ваше отображение URL неверно. Ваши aspx URL-адреса также должны быть сопоставлены.

1. робот googlebot обращается к той же странице с двумя URL-адресами: 1 с исходным путем, например, somesite / thepage.aspx?id=xx 2: с дружественным URL somesite / somepage / xx Я хочу, чтобы робот googlebot получал доступ только к дружественному URL. Я использую asp.net 2.0 и дружественные URL-адреса отображаются в web.config с использованием intellgencia dll.

2. Это то, что я говорю, ваш исходный URL-адрес должен быть заблокирован, перенаправление для не найдено, перенаправление для отображенного URL-адреса или что-то еще. Если пользователь попадает на «something.aspx?id= 123», вместо «123 / something» просто перенаправьте его на правильный URL с постоянным перемещением. Если он получает доступ к «something.aspx», отправьте пользователя в not found или home. Google узнает об этом и удалит ресурс. Я просто блокирую все ресурсы aspx с помощью правила регулярных выражений, все файлы .aspx выдают ошибку not found. Google изучит это за один день.

3. вы имеете в виду, что я должен написать другой модуль перезаписи URL в httpmodule. Я уже использовал модуль Intellgencia для удобных для пользователя URL-адресов. смотрите мои вопросы, я отредактировал их с помощью своего кода web.config. Это работает в моем приложении, но опять же, я не хочу, чтобы googlebot получал доступ к URL-адресу с исходным путем.

4. пожалуйста, приведите какой-нибудь пример о «постоянном перемещении» или regx, который вы сделали.

5. Я имею в виду, что ваш исходный URL-адрес должен иметь какую-то обработку. Какой бы модуль для URL-адресов, который вы используете, для URL-адресов, которые вы используете, проверьте URL-адрес (страница предварительно инициализирована?), И если URL-адрес является чем-то.aspx, сделайте интеллектуальное перенаправление с помощью: Response. Статус = «301 перемещен навсегда»; Ответ. AddHeader(«Местоположение»,» domain.com » ); Google не будет индексировать старый URL и удалит ресурс. Вы можете использовать свой модуль, удобный для URL, чтобы попасть туда, куда вы хотите, просто сопоставьте исходный URL-адрес с отображенным URL-адресом.

Ответ №2:

Я думаю, что в вашем Disallow заявлении есть опечатки — оно должно гласить Disallow: /*.aspx$ — смотрите эту статью http://www.google.com/support/webmasters/bin/answer.py?answer=156449 в Google Webmaster tools и прокрутите вниз до раздела о сопоставлении шаблонов.