Указывать ли в файле сайтмап ссылки, закрытые от индексации?

Ответ

Нет, не нужно. Sitemap.xml — это, по сути, ваш список рекомендаций для Google о том, какие страницы важны и вы хотите видеть их в поиске. Когда вы добавляете туда ссылку, закрытую через noindex или robots.txt, возникает противоречие.

Это приводит к тому, что робот тратит время на переход по ссылке из карты сайта только для того, чтобы узнать, что индексировать её нельзя. На больших проектах это критично. И вместо того чтобы обходить новые страницы, робот натыкается на мусорные ссылки.

Что должно быть в Sitemap:

• Страницы с ответом 200. Никаких 404, 301 редиректов или 5xx-ошибок.
• Только открытые для индексации страницы (без noindex).
• Страницы, не заблокированные в robots.txt.
• Только canonical-версии страниц. Дубликаты в карту не включаем.

Еще по теме:

• «Страница проиндексирована, но ее нет в файле Sitemap» — насколько критична эта ошибка?
Search Console пишет, что URL категории находится в индексе, но его нет в файле sitemap. В то же время файл sitemap обновляется каждый день и...
• Как влияет на продвижение ссылка на HTML карту сайта в подвале всех страниц?
Специалисты по SEO советуют сделать HTML карту сайта и добавить ссылку на нее с главной страницы. Не будет ли "вредно" для сайта установить эту ссылку...
• Ссылки на какие страницы и файлы добавлять в sitemap.xml?
Добавлять ли в sitemap.xml ссылки на карточки товаров (товаров много, около 500 тыс.)? Или достаточно ссылок на страницы категорий в которых есть эти карточки? И...
• Как правильно создать карту сайта для мультиязычного сайта?
Как создавать для мультиязычного сайта карту сайта (Sitemap.xml)? Нужно ли добавлять какие-то нестандартные теги или атрибуты или для каждой языковой версии нужна своя карта сайта?...
• Работают ли HTML карты сайта и как их правильно составлять?
Реально ли работают HTML карты сайта? Как их составлять и какие страницы туда стоит добавить? Ответ Наличие такой страницы на сайте может быть действительно полезно...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)