Указывать ли в файле сайтмап ссылки, закрытые от индексации?

Ответ

Нет, не нужно. Sitemap.xml — это, по сути, ваш список рекомендаций для Google о том, какие страницы важны и вы хотите видеть их в поиске. Когда вы добавляете туда ссылку, закрытую через noindex или robots.txt, возникает противоречие.

Это приводит к тому, что робот тратит время на переход по ссылке из карты сайта только для того, чтобы узнать, что индексировать её нельзя. На больших проектах это критично. И вместо того чтобы обходить новые страницы, робот натыкается на мусорные ссылки.

Что должно быть в Sitemap:

• Страницы с ответом 200. Никаких 404, 301 редиректов или 5xx-ошибок.
• Только открытые для индексации страницы (без noindex).
• Страницы, не заблокированные в robots.txt.
• Только canonical-версии страниц. Дубликаты в карту не включаем.

Еще по теме:

• «Страница проиндексирована, но ее нет в файле Sitemap» — насколько критична эта ошибка?
Search Console пишет, что URL категории находится в индексе, но его нет в файле sitemap. В то же время файл sitemap обновляется каждый день и...
• Атрибуты priority и lastmod в sitemap — актуальность и эффективность использования
Насколько важно в sitemap указывать priority и last modified? И если у сайта около 10К страниц, есть ли смысл разбивать файл на несколько сайтмапов, при...
• Можно ли выводить сгенерированные страницы в отдельный sitemap?
В ИМ планирую генерировать страницы по брендам, но по какой-то технической причине программист не может эти страницы выводить в sitemap. Предложил выводить сгенерированные страницы в...
• Как часто нужно обновлять Sitemap в GSC?
Как часто нужно обновлять Sitemap в Google Search Console? Ответ Обновления файла Sitemap необходимо производить сразу после создания новых страниц на сайте и открытии их...
• Эффективность HTML карты сайта для индексации страниц
Насколько эффективны HTML карты сайта? Помогают ли они индексировать страницы и насколько подробны они должны быть? Ответ Наличие html карты сайта эффективны для ресурсов со...

---

Юлия К.

doctor@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)