Как найти источник дублей и что с ними делать?

В Google Search Console появились ссылки с непонятными символами в конце URL — ?NA, ?MA, ?ND, ?SD и т.д. Как найти источник этих страниц и что с ними делать в итоге?

Ответ

Чтобы найти источник данных ссылок необходимо:

Просканировать сайт любым удобным краулером для обнаружения данных URL. Проверьте, ссылаются ли на них канонические страницы.
Проанализировать файлы .htaccess или другие места, где могут быть настроены перенаправления на данные URL.
Проверить журналы сервера для обнаружения запросов с такими URL-адресами или к ним. Это может помочь вам определить, какие ресурсы и страницы их вызывают.
В Google Analytics проверьте переходы к этим URL, так вы сможете проследить источник переходов.
Проверьте наличие внешних ссылок на данные URL.

Если источником данных URL являются внешние сайты и никак повлиять на их генерацию нельзя, например, эти URL генерируются в результате переходов с социальных сетей, то их стоит закрыть от индексации в файле robots.txt.

Если источником является работа движка сайта или сервера, то необходимо исправить данный баг и удалить нежелательные страницы, присвоив им 404 или 410 ответ сервера.

Если же исправить баг нельзя — то остается прописать правило в файле robots.txt, которое будет запрещать сканирование данных URL. Также можно настроить rel= «canonical» со страниц дублей на страницы оригиналы (без ?*** в конце URL).

Если у ненужных вам страниц появились внешние ссылки — настройте 301 редирект на канонические URL.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как правильно поступать с синонимами в поиске/тегах на сайте, чтобы не допускать смысловые дубли?

Вопрос по синонимам в поиске/тегах на сайте. Такие страницы имеют практически одинаковый контент. Как вы поступаете с такими запросами? 1️⃣ Выбрать основной термин и редиректить...

Можно ли использовать текстовое описание конкурентов в товарной карточке?

У нас условно говоря 200 товарных позиций, которые не продаются. Думаем, необходимо залить тексты, но под все 200 не успеваем сейчас написать. Можно ли сейчас...

Что делать, если якорные ссылки создают дубли страниц?

Заметил, что в блоке “Содержание статьи” ссылки реализованы через якоря, которые определяются поисковиком. Страницы эти не индексируются, тк есть rel canonical на основной урл, но...

Каким сервисом можно определить изменение релевантной страницы?

Подскажите каким сервисом можно отследить, что релевантная страница по запросу меняется, т.е. другими словами какой сервис может показать релевантные дубли? Ответ Для отслеживания истории изменений...

Какие есть способы борьбы с дублями страниц из-за get-параметров?

Подскажите самый эффективный способ борьбы с дублями страниц из-за get параметров? Ответ Для эффективной борьбы с дублями страниц из-за GET-параметров рекомендуем: добавить соответствующую директиву (Disallow)...