Как найти технические и смысловые дубли страниц?

Ответ

Технические дубли образовываются вследствие неправильной работы cms сайта, когда помимо продвигаемой страницы становится доступна такая же страница по другому Url, но с точно таким же контентом – это классический технический дубль.

Смысловые дубли – это частичные дубли страниц, когда контент двух разных страниц достаточно сильно похож и ключевые слова пересекаются.

Результат наличия дублей на сайте – неспособность поискового алгоритма правильно оценить контент сайта, каннибализация запросов и как следствие – ухудшение позиций сайта.

Чтобы найти дубли на сайте можно:

1️⃣ Воспользоваться специальными программами (например seo frog, netpeak spider), которые сканируют все страницы вашего сайта. Затем вы фильтруете все страницы от А до Я по заголовку h1 или мета тегу title и смотрите, на каких страницах в этих полях одинаковые или очень похожие значения. При чем эти же сервисы в большинстве автоматически сразу и подсветят вам все дубли.

2️⃣ Искать дубли в индексе поисковых систем. Для этого вам нужно скопировать заголовок h1, title или кусок текста со страницы и поискать этот фрагмент в кавычках, дополнительно добавляя к запросу адрес вашего сайта в формате site:site.com. Так вы получите все страницы в индексе поисковой системы. Смотрите, есть ли там одинаковые страницы и устраняете их.

3️⃣ Очень часто дубли страниц попадают в отчеты GSC, как «Просканированы, но не проиндексированы». Это поможет также обнаружить дубли тех страниц, что не индексируются, как раз из-за того, что это дубли.

Как избавляться от страниц дублей? Если это технический дубль, нужно просто устранить причину его появления в коде cms и все страницы подобного типа пропадут с сайта. Не забудьте также проверить все внутренние ссылки сайта, и удалить те, что ведут на страницы дубли. Также вы можете добавить маску url страниц дублей в файл роботс, запретив их индексацию.

Если это контентный дубль – перепишите часть контента сайта, который дублируется, удалите каннибализируемые ключевые слова или закройте страницу от индексации.

Еще по теме:

• Что делать, если якорные ссылки создают дубли страниц?
Заметил, что в блоке “Содержание статьи” ссылки реализованы через якоря, которые определяются поисковиком. Страницы эти не индексируются, тк есть rel canonical на основной урл, но...
• Как оптимальнее всего бороть со смысловыми дублями
На сайте есть смысловые дубли страниц, ранжируются по одним и тем же запросам. Можно просто удалить дубли или обязательно стоит настраивать редирект? И как именно?...
• Как проверить сайт на появление дублей страниц или страниц-каннибалов?
Как проверить сайт на появление дублей страниц или страниц-каннибалов? Ответ Проверить наличие дублей можно сканируя сайт парсерами, например: Screaming Frog SEO Spider Netpeak Spider Также...
• Какие есть способы борьбы с дублями страниц из-за get-параметров?
Подскажите самый эффективный способ борьбы с дублями страниц из-за get параметров? Ответ Для эффективной борьбы с дублями страниц из-за GET-параметров рекомендуем: добавить соответствующую директиву (Disallow)...
• Как избежать появления дублей статей блога при наличии основного домена и поддоменов?
Есть сайт с региональными поддоменами. Вся важная коммерческая информация генерится согласно региону (отдельный урл, адрес, номер телефона, привязка в вебмастере, все теги). Но есть одно...