#web-crawler #multilingual #robots.txt
#веб-искатель #многоязычный #robots.txt
Вопрос:
привет, я пытаюсь сгенерировать robots.txt файл для моего веб-сайта, но у меня возникла проблема с многоязычным URL. Я хочу, например, запретить этот URL-адрес
http://www.example.com/en/shop
http://www.example.com/ar/shop
http://www.example.com/fr/shop
так мне нужно писать
Disallow: /en/shop
Disallow: /ar/shop
Disallow: /fr/shop
или этого достаточно?
Disallow: /*/shop
Спасибо