Что делать с большим количеством дублей страниц на сайте?

На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента — по Title и содержимому.
Их лучше удалить полностью или склеить страницы с категориями, в которых они были?
И касательно сроков: лучше удалить сразу 1000 или делать это постепенно, например по 50 страниц в день?

Ответ

Для того, чтобы понять, что конкретно делать с дублями, нужно:

выявить причину, по которой они образуются: связано это с особенностью CMS сайта, появляются ли эти дубли из-за добавления в URL дополнительных параметров и меток (get параметры; параметры gclid и yclid; реферальная ссылка) или по другим причинам.
их наличие в индексе: поисковый трафик на страницу; наличие внешних и внутренних ссылок.
важность такой страницы для сайта и пользователя: если страница полезна пользователю, но по каким-то причинам считается дублем другой, то ее нужно прорабатывать: создать уникальные метатеги, контент и сделать страницу полезной в первую очередь для пользователя.

Если дубль не находится в индексе, и он не несет пользы для сайта и посетителя, то его можно смело удалять с сайта. Одновременно нужно удалить ссылки на страницу во внутренней перелинковке сайта. Такой метод подходит для страниц, которые «не жалко», то есть без ссылочного веса и трафика.

В случае, если на странице есть трафик, то лучше настроить 301 редирект, чтобы передать вес другой странице и не потерять его. Нужно понимать, что склеивание страниц может привести к проблемам с индексированием и ранжированием страниц, а также к негативному влиянию на пользовательский опыт.

Поэтому существуют и другие способы устранить дубли:

Файл robots.txt: с помощью директивы «Disallow», мы можем запретить поисковым ботам заходить на ненужные страницы.
Метатег meta name= «robots» content= «noindex, nofollow»: указывает роботу не индексировать документ и не переходить по ссылкам и в отличии от robots.txt является прямым указанием, которое робот не может проигнорировать.
Атрибут rel= «canonical»: используется для устранения дублей страниц с get-параметрами и utm-метками и первых страниц пагинации.
Склейка дублей через Clean-param: указывается для поискового робота Яндекса в robots.txt. Благодаря этой директиве страницы с параметрами и метками приводятся к единому виду, из-за чего поисковый робот не травит краулинговый бюджет на обход таких страниц.

Что касается сроков, то если у вас есть возможность удалить все 1000 страниц сразу, то это будет лучшим вариантом. Удаление постепенно может привести к тому, что поисковые роботы будут продолжать индексировать дубли страниц и пользователи могут наткнуться на них. Если вы не можете удалить все 1000 страниц сразу, то рекомендуется удалить их по мере возможности, но не меньше, чем по 100 страниц в день. Это поможет вам избежать проблем с индексацией и сохранить хороший пользовательский опыт.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Какие есть способы борьбы с дублями страниц из-за get-параметров?

Подскажите самый эффективный способ борьбы с дублями страниц из-за get параметров? Ответ Для эффективной борьбы с дублями страниц из-за GET-параметров рекомендуем: добавить соответствующую директиву (Disallow)...

Можно ли скрыть от индексации дублирующийся контент мобильной версии?

Как надежно и безопасно можно закрыть от индексации часть контента от Яндекса и Гугла? Дело в том, что на сайте переработали CMS и в результате,...

Стоит ли дублировать уникальный контент с сайта на сторонних площадках?

Как лучше поступить, если хочется писать информационные статьи на сайт и так же раскидывать их по внешним ресурсам типа дзена, vc и пр.? Я тут...

Нужно ли дублировать раздел статей для каждого региона?

Думаем над настройкой папок для регионов, чтобы охватывать ГЕО. У меня возник вопрос: стоит ли раздел статей дублировать в каждом регионе? Грубо говоря у меня...