Что делать с большим количеством дублей страниц на сайте?

На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента — по Title и содержимому.
Их лучше удалить полностью или склеить страницы с категориями, в которых они были?
И касательно сроков: лучше удалить сразу 1000 или делать это постепенно, например по 50 страниц в день?

Ответ

Для того, чтобы понять, что конкретно делать с дублями, нужно:

выявить причину, по которой они образуются: связано это с особенностью CMS сайта, появляются ли эти дубли из-за добавления в URL дополнительных параметров и меток (get параметры; параметры gclid и yclid; реферальная ссылка) или по другим причинам.
их наличие в индексе: поисковый трафик на страницу; наличие внешних и внутренних ссылок.
важность такой страницы для сайта и пользователя: если страница полезна пользователю, но по каким-то причинам считается дублем другой, то ее нужно прорабатывать: создать уникальные метатеги, контент и сделать страницу полезной в первую очередь для пользователя.

Если дубль не находится в индексе, и он не несет пользы для сайта и посетителя, то его можно смело удалять с сайта. Одновременно нужно удалить ссылки на страницу во внутренней перелинковке сайта. Такой метод подходит для страниц, которые «не жалко», то есть без ссылочного веса и трафика.

В случае, если на странице есть трафик, то лучше настроить 301 редирект, чтобы передать вес другой странице и не потерять его. Нужно понимать, что склеивание страниц может привести к проблемам с индексированием и ранжированием страниц, а также к негативному влиянию на пользовательский опыт.

Поэтому существуют и другие способы устранить дубли:

Файл robots.txt: с помощью директивы «Disallow», мы можем запретить поисковым ботам заходить на ненужные страницы.
Метатег meta name= «robots» content= «noindex, nofollow»: указывает роботу не индексировать документ и не переходить по ссылкам и в отличии от robots.txt является прямым указанием, которое робот не может проигнорировать.
Атрибут rel= «canonical»: используется для устранения дублей страниц с get-параметрами и utm-метками и первых страниц пагинации.
Склейка дублей через Clean-param: указывается для поискового робота Яндекса в robots.txt. Благодаря этой директиве страницы с параметрами и метками приводятся к единому виду, из-за чего поисковый робот не травит краулинговый бюджет на обход таких страниц.

Что касается сроков, то если у вас есть возможность удалить все 1000 страниц сразу, то это будет лучшим вариантом. Удаление постепенно может привести к тому, что поисковые роботы будут продолжать индексировать дубли страниц и пользователи могут наткнуться на них. Если вы не можете удалить все 1000 страниц сразу, то рекомендуется удалить их по мере возможности, но не меньше, чем по 100 страниц в день. Это поможет вам избежать проблем с индексацией и сохранить хороший пользовательский опыт.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Как проверить сайт на появление дублей страниц или страниц-каннибалов?

Как проверить сайт на появление дублей страниц или страниц-каннибалов? Ответ Проверить наличие дублей можно сканируя сайт парсерами, например: Screaming Frog SEO Spider Netpeak Spider Также...

Анализ и поиск thin контента и неявных дублей на сайте

Есть ли какие-то бесплатные решения для анализа и поиска thin контента (НКС для Яндекса), т.е. парсинга сайта на предмет похожих страниц, но не одинаковых? Например,...

Как бороться с дублями страниц с get параметрами?

Как решить критическую ошибку Яндекса "Найдены страницы дубли с Get-параметрами"? Ответ Для того чтобы исправить данную ошибку, можно воспользоваться несколькими способами: Закрыть от индексации URL...

Нужно ли дублировать раздел статей для каждого региона?

Думаем над настройкой папок для регионов, чтобы охватывать ГЕО. У меня возник вопрос: стоит ли раздел статей дублировать в каждом регионе? Грубо говоря у меня...