Что делать с большим количеством дублей страниц на сайте?

На сайте порядка 75к страниц в индексе. Образовалось около 1000 страниц- дублей контента — по Title и содержимому.
Их лучше удалить полностью или склеить страницы с категориями, в которых они были?
И касательно сроков: лучше удалить сразу 1000 или делать это постепенно, например по 50 страниц в день?

Ответ

Для того, чтобы понять, что конкретно делать с дублями, нужно:

выявить причину, по которой они образуются: связано это с особенностью CMS сайта, появляются ли эти дубли из-за добавления в URL дополнительных параметров и меток (get параметры; параметры gclid и yclid; реферальная ссылка) или по другим причинам.
их наличие в индексе: поисковый трафик на страницу; наличие внешних и внутренних ссылок.
важность такой страницы для сайта и пользователя: если страница полезна пользователю, но по каким-то причинам считается дублем другой, то ее нужно прорабатывать: создать уникальные метатеги, контент и сделать страницу полезной в первую очередь для пользователя.

Если дубль не находится в индексе, и он не несет пользы для сайта и посетителя, то его можно смело удалять с сайта. Одновременно нужно удалить ссылки на страницу во внутренней перелинковке сайта. Такой метод подходит для страниц, которые «не жалко», то есть без ссылочного веса и трафика.

В случае, если на странице есть трафик, то лучше настроить 301 редирект, чтобы передать вес другой странице и не потерять его. Нужно понимать, что склеивание страниц может привести к проблемам с индексированием и ранжированием страниц, а также к негативному влиянию на пользовательский опыт.

Поэтому существуют и другие способы устранить дубли:

Файл robots.txt: с помощью директивы «Disallow», мы можем запретить поисковым ботам заходить на ненужные страницы.
Метатег meta name= «robots» content= «noindex, nofollow»: указывает роботу не индексировать документ и не переходить по ссылкам и в отличии от robots.txt является прямым указанием, которое робот не может проигнорировать.
Атрибут rel= «canonical»: используется для устранения дублей страниц с get-параметрами и utm-метками и первых страниц пагинации.
Склейка дублей через Clean-param: указывается для поискового робота Яндекса в robots.txt. Благодаря этой директиве страницы с параметрами и метками приводятся к единому виду, из-за чего поисковый робот не травит краулинговый бюджет на обход таких страниц.

Что касается сроков, то если у вас есть возможность удалить все 1000 страниц сразу, то это будет лучшим вариантом. Удаление постепенно может привести к тому, что поисковые роботы будут продолжать индексировать дубли страниц и пользователи могут наткнуться на них. Если вы не можете удалить все 1000 страниц сразу, то рекомендуется удалить их по мере возможности, но не меньше, чем по 100 страниц в день. Это поможет вам избежать проблем с индексацией и сохранить хороший пользовательский опыт.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Можно ли использовать текстовое описание конкурентов в товарной карточке?

У нас условно говоря 200 товарных позиций, которые не продаются. Думаем, необходимо залить тексты, но под все 200 не успеваем сейчас написать. Можно ли сейчас...

Что делать, если проиндексировался тестовый домен с дублями страниц сайта?

Сайт попал в индекс Яндекса, он ещё дорабатывается и наполнен на 80% + он на рабочем (тестовом) домене. Чем может быть чревата такая ситуация при...

Как проверить сайт на наличие дублей?

Как проверить сайт на наличие дублей? Где указывается информация об их существовании и как с ними бороться? Ответ Чтобы ответить на Ваш вопрос, сперва нужно...

Что делать, если якорные ссылки создают дубли страниц?

Заметил, что в блоке “Содержание статьи” ссылки реализованы через якоря, которые определяются поисковиком. Страницы эти не индексируются, тк есть rel canonical на основной урл, но...

Как решить проблему дублей страниц с .php и без в конце URL страниц?

Есть страница site.ru/stranica.php, как оказалось эта страница открывается и по адресу без php, то есть site.ru/stranica. Проверили по консоли - часть таких дублей уже проиндексирована,...