Как составлять файл robots.txt и sitemap.xml для мультиязычного сайта (подпапки)?

Ответ

Файл robots.txt

Для мультиязычного сайта нужно убедиться, что вы не блокируете доступ к любой из языковых подпапок и поисковики смогут обнаружить и проиндексировать контент на всех языковых версиях вашего сайта.

Пример файла robots.txt:

User-agent: *
Disallow: /admin/
Allow: /en/
Allow: /fr/
Sitemap: https://site.com/sitemap.xml

Файл sitemap.xml

Для мультиязычного сайта крайне важно включить в sitemap.xml url-адреса всех версий каждой страницы. Это можно сделать, используя теги <loc> для указания url-адреса страницы и теги <xhtml:link> для указания альтернативных языковых версий. Эти теги должны содержать атрибуты rel=»alternate», hreflang=»код_языка» (где код_языка — это код языка по стандарту ISO 639-1, например, en для английского, fr для французского) и href=»URL версии_на_этом языке».

Пример sitemap.xml для мультиязычного сайта:

<url>
    <loc>https://site.com/en/page1</loc>
    <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page1"/>
    <xhtml:link rel="alternate" hreflang="fr" href="https://site.com/fr/page1"/>
  </url>
 <url>
    <loc>https://site.com/fr/page1</loc>
</url>
  <url>
    <loc>https://site.com/fr/page1</loc>
    <xhtml:link rel="alternate" hreflang="fr" href="https://site.com/fr/page1"/>
    <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page1"/>
  </url>

Еще по теме:

• Ускорит ли индексацию создание отдельного sitemap для обновленных страниц на сайте?
Есть сайт, довольно большой (около 5000 страниц). На сайте обновили часть контента (35% от общего количества примерно). Для того чтобы эти страницы быстрее проиндексировались нужно...
• Нужна ли специальная карта для мультиязычного сайта?
Нужно ли для мультиязычного сайта делать специальную карту сайта? Или обычная с перечислением всех URL вполне хватит? Ответ Решение делать ли отдельную карту сайта для...
• Можно ли выводить сгенерированные страницы в отдельный sitemap?
В ИМ планирую генерировать страницы по брендам, но по какой-то технической причине программист не может эти страницы выводить в sitemap. Предложил выводить сгенерированные страницы в...
• Как правильно создать карту сайта для мультиязычного сайта?
Как создавать для мультиязычного сайта карту сайта (Sitemap.xml)? Нужно ли добавлять какие-то нестандартные теги или атрибуты или для каждой языковой версии нужна своя карта сайта?...
• Работают ли HTML карты сайта и как их правильно составлять?
Реально ли работают HTML карты сайта? Как их составлять и какие страницы туда стоит добавить? Ответ Наличие такой страницы на сайте может быть действительно полезно...

---

Наталия С.

nataliia.s@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)