Как остановить сканирование несуществующих url и почему это происходит?

Ответ

Проблема не в том, что Search Console сама придумывает URL – консоль лишь показывает, что Googlebot уже где-то увидел эти адреса и просканировал. Поэтому если бот массово идет на несуществующие адреса, значит для него все же где-то существует сигнал на эти URL.

Мы бы рекомендовали просканировать весь сайт с помощью парсера, чтобы выявить не находится ли источник таких ссылок в коде сайта, а затем посмотрели бы есть ли внешние источники таких url. Если причина во внешних ссылках, то скорее всего, это действительно работа конкурентов.

Вторая по вероятности причина — источник вне видимого интерфейса сайта. Google может взять URL не только из текста страницы, но и из sitemap, HTTP-заголовков, JS, микроразметки, а также из соцсетей, ТГ-каналов, открытых Google-таблиц и других источников. Поэтому то, что ссылок на первый взгляд нет, на практике часто означает только «их нет в статическом меню и тексте страницы». Часто такие фантомы всплывают после миграций, правок шаблонов, внедрения фильтров/хлебных крошек или относительных canonical/hreflang вместо абсолютных.

Сами по себе 404 не являются катастрофой. Но если таких адресов стало много, они всё же могут влиять на ранжирование и позиции сайта.

Другое дело, когда на сайте такие битые страницы признаны soft 404 (страница не найдена, но отдаёт код сервера 200 OK) — это может влиять на краулинговый бюджет и оценку качества сайта со стороны ПС. Google отдельно подчёркивает, что для удалённых и несуществующих адресов нужен корректный HTTP-статус, а не маскировка под обычную страницу.

Если вы видите чёткую закономерность в мусорных URL (например, они всегда начинаются с /news/blog/), то попробуйте временно закрыть этот паттерн через Disallow: /news/blog/.

Еще по теме:

• Как правильно построить URL-структуру сайта?
Вопрос по поводу построения URL-структуры. На моём сайте site.com производят продукцию нескольких видов. Назовём их 1,2,3. Вопрос: следует ли в URL добавлять produkciya? Чтобы окончательный...
• Как правильно изменить неверные url на ЧПУ?
Есть сайт интернет-магазина и там изначально были неверно прописаны url (…/3247/, т.е. приписывался автоматический ID). В данный момент решили наконец исправить эту ошибку и сделать...
• Как повлияет на продвижение расширение сайта через создание большого количества однотипных страниц?
Есть сайт-каталог картин. Несколько репродукций разных мастеров и годов (но все в рамках одного сюжета) сейчас объединены на одной странице и переключаются всплывающей JS-галереей (?item=1,...
• Может ли добавление 1 уровня вложенности URL ухудшить ранжирование сайта?
Хотим поменять в ИМ структуру меню, из-за чего у каждой категории появится + уровень вложения (вывести основные категории в верхнее меню). Было : сайт/категория/подкатегория -...
• Как корректно настроить 301 редирект в файле .htaccess?
Как корректно настроить через файл .htaccess 301 редирект на нижний регистр в url? И нужно ли это вообще делать для SEO? Ответ Нужно ли это...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)