Как остановить сканирование несуществующих url и почему это происходит?

Ответ

Проблема не в том, что Search Console сама придумывает URL – консоль лишь показывает, что Googlebot уже где-то увидел эти адреса и просканировал. Поэтому если бот массово идет на несуществующие адреса, значит для него все же где-то существует сигнал на эти URL.

Мы бы рекомендовали просканировать весь сайт с помощью парсера, чтобы выявить не находится ли источник таких ссылок в коде сайта, а затем посмотрели бы есть ли внешние источники таких url. Если причина во внешних ссылках, то скорее всего, это действительно работа конкурентов.

Вторая по вероятности причина — источник вне видимого интерфейса сайта. Google может взять URL не только из текста страницы, но и из sitemap, HTTP-заголовков, JS, микроразметки, а также из соцсетей, ТГ-каналов, открытых Google-таблиц и других источников. Поэтому то, что ссылок на первый взгляд нет, на практике часто означает только «их нет в статическом меню и тексте страницы». Часто такие фантомы всплывают после миграций, правок шаблонов, внедрения фильтров/хлебных крошек или относительных canonical/hreflang вместо абсолютных.

Сами по себе 404 не являются катастрофой. Но если таких адресов стало много, они всё же могут влиять на ранжирование и позиции сайта.

Другое дело, когда на сайте такие битые страницы признаны soft 404 (страница не найдена, но отдаёт код сервера 200 OK) — это может влиять на краулинговый бюджет и оценку качества сайта со стороны ПС. Google отдельно подчёркивает, что для удалённых и несуществующих адресов нужен корректный HTTP-статус, а не маскировка под обычную страницу.

Если вы видите чёткую закономерность в мусорных URL (например, они всегда начинаются с /news/blog/), то попробуйте временно закрыть этот паттерн через Disallow: /news/blog/.

Еще по теме:

• Как правильно изменить неверные url на ЧПУ?
Есть сайт интернет-магазина и там изначально были неверно прописаны url (…/3247/, т.е. приписывался автоматический ID). В данный момент решили наконец исправить эту ошибку и сделать...
• Как правильно убрать старые url после замены на новые?
На сайте интернет-магазина много неправильных url с кириллицей. Была проведена замена на правильные. Как правильно убрать старый url — редирект или nofollow в robots? Ответ...
• При обновлении статей на сайте, как поступить с URL страниц, которые содержат год?
Есть статьи, которые в урле содержат год, например, 2022. Статьи требуется обновить. Что делать с урлом? Менять и делать редирект или оставить как есть? Ответ...
• Может ли смена дизайна и URL страниц сайта повлиять на релевантность страниц?
Клиент переехал на другую CMS. Выяснилось, что релевантные страницы поменялись, сайт просел. В результате переезда поменяли дизайн страниц и URL страниц. Могла ли смена дизайна...
• Что делать с URL товаров, которые закончились, но страницы выдает в поиске?
У нас интернет-магазин мужской одежды. Заметила в поиске по нашим ключевым запросам выдаются в том числе страницы наших товаров, которых давно нет в наличии. Если...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)