Как остановить сканирование несуществующих url и почему это происходит?

Ответ

Проблема не в том, что Search Console сама придумывает URL – консоль лишь показывает, что Googlebot уже где-то увидел эти адреса и просканировал. Поэтому если бот массово идет на несуществующие адреса, значит для него все же где-то существует сигнал на эти URL.

Мы бы рекомендовали просканировать весь сайт с помощью парсера, чтобы выявить не находится ли источник таких ссылок в коде сайта, а затем посмотрели бы есть ли внешние источники таких url. Если причина во внешних ссылках, то скорее всего, это действительно работа конкурентов.

Вторая по вероятности причина — источник вне видимого интерфейса сайта. Google может взять URL не только из текста страницы, но и из sitemap, HTTP-заголовков, JS, микроразметки, а также из соцсетей, ТГ-каналов, открытых Google-таблиц и других источников. Поэтому то, что ссылок на первый взгляд нет, на практике часто означает только «их нет в статическом меню и тексте страницы». Часто такие фантомы всплывают после миграций, правок шаблонов, внедрения фильтров/хлебных крошек или относительных canonical/hreflang вместо абсолютных.

Сами по себе 404 не являются катастрофой. Но если таких адресов стало много, они всё же могут влиять на ранжирование и позиции сайта.

Другое дело, когда на сайте такие битые страницы признаны soft 404 (страница не найдена, но отдаёт код сервера 200 OK) — это может влиять на краулинговый бюджет и оценку качества сайта со стороны ПС. Google отдельно подчёркивает, что для удалённых и несуществующих адресов нужен корректный HTTP-статус, а не маскировка под обычную страницу.

Если вы видите чёткую закономерность в мусорных URL (например, они всегда начинаются с /news/blog/), то попробуйте временно закрыть этот паттерн через Disallow: /news/blog/.

Еще по теме:

• Можно ли использовать нижнее подчёркивание в URL?
Плохо ли, если в URL нижнее подчеркивание вместо дефиса? Новый сайт запустился с таким урлами. Лучше поменять на дефисы и сделать редиректы или так и...
• Как правильно построить URL-структуру сайта?
Вопрос по поводу построения URL-структуры. На моём сайте site.com производят продукцию нескольких видов. Назовём их 1,2,3. Вопрос: следует ли в URL добавлять produkciya? Чтобы окончательный...
• Почему не нужно менять URL статьи при её обновлении, даже если статья старая и не приносит трафик
Если переписывать старые статьи, которые не приносят трафик менять у них URL или оставлять на старом? Почему спрашиваю: на старых статьях если и были заходы,...
• Какая длина url лучше для продвижения?
К какой длине url лучше стремиться - покороче или подлиннее (можно больше ключей добавить)? Как лучше для продвижения? Ответ В своей практике мы не замечали,...
• Как вложенность URL страниц влияет на ранжирование сайта?
Сайту около 2 лет, хорошо ранжируется по основным запросам. Думаем поменять URL страниц с вида site.сom/kategory/podkategory/yslyga на site.сom/yslyga. Даст ли это что-нибудь и как это...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)