Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться?

Ответ

Чтобы ответить на Ваш вопрос, сперва нужно разобрать, какие дубли бывают.

Различают два вида: технические и смысловые. Технические дубли появляются при наличии идентичного контента, чаще всего их генерирует движок сайта, а смысловые – это проблема текстов, уникальных технически, но неуникальных по смыслу.

Чтобы найти дубли страниц, для начала рекомендуем проверить их наличие в Google Search Console и Яндекс.Вебмастере в Исключённых страницах. А также в Яндекс.Вебмастере необходимо убедиться в том, что дубли метатегов отсутствуют, так как страницы с одинаковыми Title и Description могут оказаться дублями.

Кроме того, Вы можете провести парсинг сайта и выгрузить такие данные, как дубли метатегов и контента (хеш страниц). Такой функционал есть у большинства парсеров, ознакомиться с их обзором можно в статье: «Обзор ТОП-6 лучших парсеров сайтов».

Для того чтобы бороться с дублями, необходимо понять их происхождение.

Если Вы выявили технические дубли:

Нужно сообщить о проблеме разработчикам сайта, чтобы они это исправили.
В случае если Вы изменили структуру сайта, используйте 301 редирект.

Если у Вас смысловые дубли:

Избегайте повторов шаблонных текстов.
Уникализируйте контент страницы, поработайте над текстовым описанием.

Исходя из всего вышеперечисленного, для борьбы с дублями нужно:

Периодически следить за информацией в Google Search Console и Яндекс.Вебмастере, так как там можно очень быстро обнаружить информацию по дублям.
Необходимо раз в 2-3 месяца обновлять технический аудит сайта, парсить его, и тогда будет возможность быстро замечать дубли.
Следите за позициями, если релевантная страница сменится, то, возможно, её заменил дубль.

Подробнее про дубли страниц Вы можете прочесть в нашей статье: «Дубли страниц. Чем опасны? Как найти и удалить?».

Подписаться на рассылку

Еще по теме:

Что делать с большим количеством дублей страниц на сайте?

На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента - по Title и содержимому. Их лучше удалить полностью или склеить страницы...

Что делать с дублем сайта из-за индексации IP адреса?

Увидел в Гугле проиндексированный айпи адрес, вместо домена. Подскажите, как это могло произойти? Не будет ли конфликтовать основной домен с айпи адресом? Как исправить ошибку?...

Что делать, если проиндексировался тестовый домен с дублями страниц сайта?

Сайт попал в индекс Яндекса, он ещё дорабатывается и наполнен на 80% + он на рабочем (тестовом) домене. Чем может быть чревата такая ситуация при...

Стоит ли дублировать уникальный контент с сайта на сторонних площадках?

Как лучше поступить, если хочется писать информационные статьи на сайт и так же раскидывать их по внешним ресурсам типа дзена, vc и пр.? Я тут...

Как правильно поступать с синонимами в поиске/тегах на сайте, чтобы не допускать смысловые дубли?

Вопрос по синонимам в поиске/тегах на сайте. Такие страницы имеют практически одинаковый контент. Как вы поступаете с такими запросами? 1️⃣ Выбрать основной термин и редиректить...