Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться?

Ответ

Чтобы ответить на Ваш вопрос, сперва нужно разобрать, какие дубли бывают.

Различают два вида: технические и смысловые. Технические дубли появляются при наличии идентичного контента, чаще всего их генерирует движок сайта, а смысловые – это проблема текстов, уникальных технически, но неуникальных по смыслу.

Чтобы найти дубли страниц, для начала рекомендуем проверить их наличие в Google Search Console и Яндекс.Вебмастере в Исключённых страницах. А также в Яндекс.Вебмастере необходимо убедиться в том, что дубли метатегов отсутствуют, так как страницы с одинаковыми Title и Description могут оказаться дублями.

Кроме того, Вы можете провести парсинг сайта и выгрузить такие данные, как дубли метатегов и контента (хеш страниц). Такой функционал есть у большинства парсеров, ознакомиться с их обзором можно в статье: «Обзор ТОП-6 лучших парсеров сайтов».

Для того чтобы бороться с дублями, необходимо понять их происхождение.

Если Вы выявили технические дубли:

Нужно сообщить о проблеме разработчикам сайта, чтобы они это исправили.
В случае если Вы изменили структуру сайта, используйте 301 редирект.

Если у Вас смысловые дубли:

Избегайте повторов шаблонных текстов.
Уникализируйте контент страницы, поработайте над текстовым описанием.

Исходя из всего вышеперечисленного, для борьбы с дублями нужно:

Периодически следить за информацией в Google Search Console и Яндекс.Вебмастере, так как там можно очень быстро обнаружить информацию по дублям.
Необходимо раз в 2-3 месяца обновлять технический аудит сайта, парсить его, и тогда будет возможность быстро замечать дубли.
Следите за позициями, если релевантная страница сменится, то, возможно, её заменил дубль.

Подробнее про дубли страниц Вы можете прочесть в нашей статье: «Дубли страниц. Чем опасны? Как найти и удалить?».

Подписаться на рассылку

Еще по теме:

Как найти источник дублей и что с ними делать?

В Google Search Console появились ссылки с непонятными символами в конце URL - ?NA, ?MA, ?ND, ?SD и т.д. Как найти источник этих страниц и...

Что делать с дублем сайта из-за индексации IP адреса?

Увидел в Гугле проиндексированный айпи адрес, вместо домена. Подскажите, как это могло произойти? Не будет ли конфликтовать основной домен с айпи адресом? Как исправить ошибку?...

Как проверить сайт на появление дублей страниц или страниц-каннибалов?

Как проверить сайт на появление дублей страниц или страниц-каннибалов? Ответ Проверить наличие дублей можно сканируя сайт парсерами, например: Screaming Frog SEO Spider Netpeak Spider Также...

Что делать, если якорные ссылки создают дубли страниц?

Заметил, что в блоке “Содержание статьи” ссылки реализованы через якоря, которые определяются поисковиком. Страницы эти не индексируются, тк есть rel canonical на основной урл, но...

Какие есть способы борьбы с дублями страниц из-за get-параметров?

Подскажите самый эффективный способ борьбы с дублями страниц из-за get параметров? Ответ Для эффективной борьбы с дублями страниц из-за GET-параметров рекомендуем: добавить соответствующую директиву (Disallow)...