Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться?

Ответ

Чтобы ответить на Ваш вопрос, сперва нужно разобрать, какие дубли бывают.

Различают два вида: технические и смысловые. Технические дубли появляются при наличии идентичного контента, чаще всего их генерирует движок сайта, а смысловые – это проблема текстов, уникальных технически, но неуникальных по смыслу.

Чтобы найти дубли страниц, для начала рекомендуем проверить их наличие в Google Search Console и Яндекс.Вебмастере в Исключённых страницах. А также в Яндекс.Вебмастере необходимо убедиться в том, что дубли метатегов отсутствуют, так как страницы с одинаковыми Title и Description могут оказаться дублями.

Кроме того, Вы можете провести парсинг сайта и выгрузить такие данные, как дубли метатегов и контента (хеш страниц). Такой функционал есть у большинства парсеров, ознакомиться с их обзором можно в статье: «Обзор ТОП-6 лучших парсеров сайтов».

Для того чтобы бороться с дублями, необходимо понять их происхождение.

Если Вы выявили технические дубли:

Нужно сообщить о проблеме разработчикам сайта, чтобы они это исправили.
В случае если Вы изменили структуру сайта, используйте 301 редирект.

Если у Вас смысловые дубли:

Избегайте повторов шаблонных текстов.
Уникализируйте контент страницы, поработайте над текстовым описанием.

Исходя из всего вышеперечисленного, для борьбы с дублями нужно:

Периодически следить за информацией в Google Search Console и Яндекс.Вебмастере, так как там можно очень быстро обнаружить информацию по дублям.
Необходимо раз в 2-3 месяца обновлять технический аудит сайта, парсить его, и тогда будет возможность быстро замечать дубли.
Следите за позициями, если релевантная страница сменится, то, возможно, её заменил дубль.

Подробнее про дубли страниц Вы можете прочесть в нашей статье: «Дубли страниц. Чем опасны? Как найти и удалить?».

Подписаться на рассылку

Еще по теме:

Как устранить дублирование запроса на несколько страниц?

Есть ИМ, у которого самый жирный запрос на главной странице, но под него же есть посадочная в каталоге. Понятно, что идет перебивка, но запрос +-...

Нужно ли дублировать раздел статей для каждого региона?

Думаем над настройкой папок для регионов, чтобы охватывать ГЕО. У меня возник вопрос: стоит ли раздел статей дублировать в каждом регионе? Грубо говоря у меня...

Что делать с большим количеством дублей страниц на сайте?

На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента - по Title и содержимому. Их лучше удалить полностью или склеить страницы...

Анализ и поиск thin контента и неявных дублей на сайте

Есть ли какие-то бесплатные решения для анализа и поиска thin контента (НКС для Яндекса), т.е. парсинга сайта на предмет похожих страниц, но не одинаковых? Например,...

Как решить проблему дублей страниц с .php и без в конце URL страниц?

Есть страница site.ru/stranica.php, как оказалось эта страница открывается и по адресу без php, то есть site.ru/stranica. Проверили по консоли - часть таких дублей уже проиндексирована,...