Как найти технические и смысловые дубли страниц?

Ответ

Технические дубли образовываются вследствие неправильной работы cms сайта, когда помимо продвигаемой страницы становится доступна такая же страница по другому Url, но с точно таким же контентом – это классический технический дубль.

Смысловые дубли – это частичные дубли страниц, когда контент двух разных страниц достаточно сильно похож и ключевые слова пересекаются.

Результат наличия дублей на сайте – неспособность поискового алгоритма правильно оценить контент сайта, каннибализация запросов и как следствие – ухудшение позиций сайта.

Чтобы найти дубли на сайте можно:

1️⃣ Воспользоваться специальными программами (например seo frog, netpeak spider), которые сканируют все страницы вашего сайта. Затем вы фильтруете все страницы от А до Я по заголовку h1 или мета тегу title и смотрите, на каких страницах в этих полях одинаковые или очень похожие значения. При чем эти же сервисы в большинстве автоматически сразу и подсветят вам все дубли.

2️⃣ Искать дубли в индексе поисковых систем. Для этого вам нужно скопировать заголовок h1, title или кусок текста со страницы и поискать этот фрагмент в кавычках, дополнительно добавляя к запросу адрес вашего сайта в формате site:site.com. Так вы получите все страницы в индексе поисковой системы. Смотрите, есть ли там одинаковые страницы и устраняете их.

3️⃣ Очень часто дубли страниц попадают в отчеты GSC, как «Просканированы, но не проиндексированы». Это поможет также обнаружить дубли тех страниц, что не индексируются, как раз из-за того, что это дубли.

Как избавляться от страниц дублей? Если это технический дубль, нужно просто устранить причину его появления в коде cms и все страницы подобного типа пропадут с сайта. Не забудьте также проверить все внутренние ссылки сайта, и удалить те, что ведут на страницы дубли. Также вы можете добавить маску url страниц дублей в файл роботс, запретив их индексацию.

Если это контентный дубль – перепишите часть контента сайта, который дублируется, удалите каннибализируемые ключевые слова или закройте страницу от индексации.

Еще по теме:

• Как проверить сайт на появление дублей страниц или страниц-каннибалов?
Как проверить сайт на появление дублей страниц или страниц-каннибалов? Ответ Проверить наличие дублей можно сканируя сайт парсерами, например: Screaming Frog SEO Spider Netpeak Spider Также...
• Анализ и поиск thin контента и неявных дублей на сайте
Есть ли какие-то бесплатные решения для анализа и поиска thin контента (НКС для Яндекса), т.е. парсинга сайта на предмет похожих страниц, но не одинаковых? Например,...
• Можно ли скрыть от индексации дублирующийся контент мобильной версии?
Как надежно и безопасно можно закрыть от индексации часть контента от Яндекса и Гугла? Дело в том, что на сайте переработали CMS и в результате,...
• Как правильно поступать с синонимами в поиске/тегах на сайте, чтобы не допускать смысловые дубли?
Вопрос по синонимам в поиске/тегах на сайте. Такие страницы имеют практически одинаковый контент. Как вы поступаете с такими запросами? 1️⃣ Выбрать основной термин и редиректить...
• Как решить проблему дублей страниц с .php и без в конце URL страниц?
Есть страница site.ru/stranica.php, как оказалось эта страница открывается и по адресу без php, то есть site.ru/stranica. Проверили по консоли - часть таких дублей уже проиндексирована,...