Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться?

Ответ

Чтобы ответить на Ваш вопрос, сперва нужно разобрать, какие дубли бывают.

Различают два вида: технические и смысловые. Технические дубли появляются при наличии идентичного контента, чаще всего их генерирует движок сайта, а смысловые – это проблема текстов, уникальных технически, но неуникальных по смыслу.

Чтобы найти дубли страниц, для начала рекомендуем проверить их наличие в Google Search Console и Яндекс.Вебмастере в Исключённых страницах. А также в Яндекс.Вебмастере необходимо убедиться в том, что дубли метатегов отсутствуют, так как страницы с одинаковыми Title и Description могут оказаться дублями.

Кроме того, Вы можете провести парсинг сайта и выгрузить такие данные, как дубли метатегов и контента (хеш страниц). Такой функционал есть у большинства парсеров, ознакомиться с их обзором можно в статье: «Обзор ТОП-6 лучших парсеров сайтов».

Для того чтобы бороться с дублями, необходимо понять их происхождение.

Если Вы выявили технические дубли:

Нужно сообщить о проблеме разработчикам сайта, чтобы они это исправили.
В случае если Вы изменили структуру сайта, используйте 301 редирект.

Если у Вас смысловые дубли:

Избегайте повторов шаблонных текстов.
Уникализируйте контент страницы, поработайте над текстовым описанием.

Исходя из всего вышеперечисленного, для борьбы с дублями нужно:

Периодически следить за информацией в Google Search Console и Яндекс.Вебмастере, так как там можно очень быстро обнаружить информацию по дублям.
Необходимо раз в 2-3 месяца обновлять технический аудит сайта, парсить его, и тогда будет возможность быстро замечать дубли.
Следите за позициями, если релевантная страница сменится, то, возможно, её заменил дубль.

Подробнее про дубли страниц Вы можете прочесть в нашей статье: «Дубли страниц. Чем опасны? Как найти и удалить?».

Подписаться на рассылку

Еще по теме:

Как найти технические и смысловые дубли страниц?

Как найти дубли страниц? Причем интересуют и технические дубли (как они могут образовываться?) и смысловые дубли (откуда они берутся и как их обнаружить можно)? Ответ...

Стоит ли дублировать уникальный контент с сайта на сторонних площадках?

Как лучше поступить, если хочется писать информационные статьи на сайт и так же раскидывать их по внешним ресурсам типа дзена, vc и пр.? Я тут...

Что делать с дублем сайта из-за индексации IP адреса?

Увидел в Гугле проиндексированный айпи адрес, вместо домена. Подскажите, как это могло произойти? Не будет ли конфликтовать основной домен с айпи адресом? Как исправить ошибку?...

Анализ и поиск thin контента и неявных дублей на сайте

Есть ли какие-то бесплатные решения для анализа и поиска thin контента (НКС для Яндекса), т.е. парсинга сайта на предмет похожих страниц, но не одинаковых? Например,...