Указывать ли в файле сайтмап ссылки, закрытые от индексации?

Ответ

Нет, не нужно. Sitemap.xml — это, по сути, ваш список рекомендаций для Google о том, какие страницы важны и вы хотите видеть их в поиске. Когда вы добавляете туда ссылку, закрытую через noindex или robots.txt, возникает противоречие.

Это приводит к тому, что робот тратит время на переход по ссылке из карты сайта только для того, чтобы узнать, что индексировать её нельзя. На больших проектах это критично. И вместо того чтобы обходить новые страницы, робот натыкается на мусорные ссылки.

Что должно быть в Sitemap:

• Страницы с ответом 200. Никаких 404, 301 редиректов или 5xx-ошибок.
• Только открытые для индексации страницы (без noindex).
• Страницы, не заблокированные в robots.txt.
• Только canonical-версии страниц. Дубликаты в карту не включаем.

Еще по теме:

• Нужно ли делать отдельный Sitemap для каждого поддомена?
Есть основной сайт и 9 поддоменов. Как составить карту сайта в таком случае: для каждого поддомена отдельную карту сайта и ссылку на этот файл поставить...
• Нужна ли специальная карта для мультиязычного сайта?
Нужно ли для мультиязычного сайта делать специальную карту сайта? Или обычная с перечислением всех URL вполне хватит? Ответ Решение делать ли отдельную карту сайта для...
• Чем и как проверять файл sitemap.xml?
У меня есть сайт с кириллическими урлами. Например, https://сайт.рф. Так вот, главная страница у него отлично индексируется гуглом, а вот остальные в sitemap.xml не определяются....
• Влияет ли карта сайта на ранжирование и как её правильно составлять?
Как сильно sitemap влияет на выдачу в поиске, как правильно его оптимизировать? Ответ Для поисковых роботов (краулеров) наличие файла sitemap имеет более рекомендательный характер и...
• Работают ли HTML карты сайта и как их правильно составлять?
Реально ли работают HTML карты сайта? Как их составлять и какие страницы туда стоит добавить? Ответ Наличие такой страницы на сайте может быть действительно полезно...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)