Указывать ли в файле сайтмап ссылки, закрытые от индексации?

Ответ

Нет, не нужно. Sitemap.xml — это, по сути, ваш список рекомендаций для Google о том, какие страницы важны и вы хотите видеть их в поиске. Когда вы добавляете туда ссылку, закрытую через noindex или robots.txt, возникает противоречие.

Это приводит к тому, что робот тратит время на переход по ссылке из карты сайта только для того, чтобы узнать, что индексировать её нельзя. На больших проектах это критично. И вместо того чтобы обходить новые страницы, робот натыкается на мусорные ссылки.

Что должно быть в Sitemap:

• Страницы с ответом 200. Никаких 404, 301 редиректов или 5xx-ошибок.
• Только открытые для индексации страницы (без noindex).
• Страницы, не заблокированные в robots.txt.
• Только canonical-версии страниц. Дубликаты в карту не включаем.

Еще по теме:

• Нужна ли специальная карта для мультиязычного сайта?
Нужно ли для мультиязычного сайта делать специальную карту сайта? Или обычная с перечислением всех URL вполне хватит? Ответ Решение делать ли отдельную карту сайта для...
• Нужно ли делать отдельный Sitemap для каждого поддомена?
Есть основной сайт и 9 поддоменов. Как составить карту сайта в таком случае: для каждого поддомена отдельную карту сайта и ссылку на этот файл поставить...
• Работают ли HTML карты сайта и как их правильно составлять?
Реально ли работают HTML карты сайта? Как их составлять и какие страницы туда стоит добавить? Ответ Наличие такой страницы на сайте может быть действительно полезно...
• Какова роль навигации и карт сайтов в сканировании и индексировании?
Какова роль навигации и карт сайтов в сканировании? Т.е. что больше влияет на скан сайта и что полезнее — html и xml карта сайта или...
• Как правильно создать карту сайта для мультиязычного сайта?
Как создавать для мультиязычного сайта карту сайта (Sitemap.xml)? Нужно ли добавлять какие-то нестандартные теги или атрибуты или для каждой языковой версии нужна своя карта сайта?...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)