Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться?

Ответ

Чтобы ответить на Ваш вопрос, сперва нужно разобрать, какие дубли бывают.

Различают два вида: технические и смысловые. Технические дубли появляются при наличии идентичного контента, чаще всего их генерирует движок сайта, а смысловые – это проблема текстов, уникальных технически, но неуникальных по смыслу.

Чтобы найти дубли страниц, для начала рекомендуем проверить их наличие в Google Search Console и Яндекс.Вебмастере в Исключённых страницах. А также в Яндекс.Вебмастере необходимо убедиться в том, что дубли метатегов отсутствуют, так как страницы с одинаковыми Title и Description могут оказаться дублями.

Кроме того, Вы можете провести парсинг сайта и выгрузить такие данные, как дубли метатегов и контента (хеш страниц). Такой функционал есть у большинства парсеров, ознакомиться с их обзором можно в статье: «Обзор ТОП-6 лучших парсеров сайтов».

Для того чтобы бороться с дублями, необходимо понять их происхождение.

Если Вы выявили технические дубли:

Нужно сообщить о проблеме разработчикам сайта, чтобы они это исправили.
В случае если Вы изменили структуру сайта, используйте 301 редирект.

Если у Вас смысловые дубли:

Избегайте повторов шаблонных текстов.
Уникализируйте контент страницы, поработайте над текстовым описанием.

Исходя из всего вышеперечисленного, для борьбы с дублями нужно:

Периодически следить за информацией в Google Search Console и Яндекс.Вебмастере, так как там можно очень быстро обнаружить информацию по дублям.
Необходимо раз в 2-3 месяца обновлять технический аудит сайта, парсить его, и тогда будет возможность быстро замечать дубли.
Следите за позициями, если релевантная страница сменится, то, возможно, её заменил дубль.

Подробнее про дубли страниц Вы можете прочесть в нашей статье: «Дубли страниц. Чем опасны? Как найти и удалить?».

Подписаться на рассылку

Еще по теме:

Нужно ли дублировать раздел статей для каждого региона?

Думаем над настройкой папок для регионов, чтобы охватывать ГЕО. У меня возник вопрос: стоит ли раздел статей дублировать в каждом регионе? Грубо говоря у меня...

Что делать с дублем сайта из-за индексации IP адреса?

Увидел в Гугле проиндексированный айпи адрес, вместо домена. Подскажите, как это могло произойти? Не будет ли конфликтовать основной домен с айпи адресом? Как исправить ошибку?...

Каким сервисом можно определить изменение релевантной страницы?

Подскажите каким сервисом можно отследить, что релевантная страница по запросу меняется, т.е. другими словами какой сервис может показать релевантные дубли? Ответ Для отслеживания истории изменений...

Можно ли скрыть от индексации дублирующийся контент мобильной версии?

Как надежно и безопасно можно закрыть от индексации часть контента от Яндекса и Гугла? Дело в том, что на сайте переработали CMS и в результате,...

Как оптимальнее всего бороть со смысловыми дублями

На сайте есть смысловые дубли страниц, ранжируются по одним и тем же запросам. Можно просто удалить дубли или обязательно стоит настраивать редирект? И как именно?...