Что делать с большим количеством дублей страниц на сайте?

На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента — по Title и содержимому.
Их лучше удалить полностью или склеить страницы с категориями, в которых они были?
И касательно сроков: лучше удалить сразу 1000 или делать это постепенно, например по 50 страниц в день?

Ответ

Для того, чтобы понять, что конкретно делать с дублями, нужно:

выявить причину, по которой они образуются: связано это с особенностью CMS сайта, появляются ли эти дубли из-за добавления в URL дополнительных параметров и меток (get параметры; параметры gclid и yclid; реферальная ссылка) или по другим причинам.
их наличие в индексе: поисковый трафик на страницу; наличие внешних и внутренних ссылок.
важность такой страницы для сайта и пользователя: если страница полезна пользователю, но по каким-то причинам считается дублем другой, то ее нужно прорабатывать: создать уникальные метатеги, контент и сделать страницу полезной в первую очередь для пользователя.

Если дубль не находится в индексе, и он не несет пользы для сайта и посетителя, то его можно смело удалять с сайта. Одновременно нужно удалить ссылки на страницу во внутренней перелинковке сайта. Такой метод подходит для страниц, которые «не жалко», то есть без ссылочного веса и трафика.

В случае, если на странице есть трафик, то лучше настроить 301 редирект, чтобы передать вес другой странице и не потерять его. Нужно понимать, что склеивание страниц может привести к проблемам с индексированием и ранжированием страниц, а также к негативному влиянию на пользовательский опыт.

Поэтому существуют и другие способы устранить дубли:

Файл robots.txt: с помощью директивы «Disallow», мы можем запретить поисковым ботам заходить на ненужные страницы.
Метатег meta name= «robots» content= «noindex, nofollow»: указывает роботу не индексировать документ и не переходить по ссылкам и в отличии от robots.txt является прямым указанием, которое робот не может проигнорировать.
Атрибут rel= «canonical»: используется для устранения дублей страниц с get-параметрами и utm-метками и первых страниц пагинации.
Склейка дублей через Clean-param: указывается для поискового робота Яндекса в robots.txt. Благодаря этой директиве страницы с параметрами и метками приводятся к единому виду, из-за чего поисковый робот не травит краулинговый бюджет на обход таких страниц.

Что касается сроков, то если у вас есть возможность удалить все 1000 страниц сразу, то это будет лучшим вариантом. Удаление постепенно может привести к тому, что поисковые роботы будут продолжать индексировать дубли страниц и пользователи могут наткнуться на них. Если вы не можете удалить все 1000 страниц сразу, то рекомендуется удалить их по мере возможности, но не меньше, чем по 100 страниц в день. Это поможет вам избежать проблем с индексацией и сохранить хороший пользовательский опыт.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Настройка директивы Сlean-param для борьбы с дублями страниц в Яндексе?

Яндекс в последнее время сильно ругается на get параметры, сначала прописывали в robots — помогало, сейчас уже не помогает. Как победить и как решить эту...

Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться? Ответ Чтобы ответить на Ваш вопрос, сперва нужно...

Как решить проблему дублирования страницы фильтра и страницы категории?

Была создана фильтр страница категории со своими ЧПУ, title и т. д. Но Google считает ее полной копией категории. Как лечить? Ответ В зависимости от...

Что делать с дублем сайта из-за индексации IP адреса?

Увидел в Гугле проиндексированный айпи адрес, вместо домена. Подскажите, как это могло произойти? Не будет ли конфликтовать основной домен с айпи адресом? Как исправить ошибку?...