Анализ и поиск thin контента и неявных дублей на сайте

Ответ

Screaming Frog может находить не только дубли страниц, но и похожие (неявные дубли). Происходит это следующим образом.

Шаг 1. Переходим в настройки «Configuration» — «Content» — «Duplicates» и настраиваем процент пороговой схожести контента.

Шаг 2. Далее в настройках «Configuration» — «Content» — «Duplicates» задаем исключения и правила для анализа контента, задавая теги, классы и идентификаторы.

Шаг 3. Парсим сайт. После окончания парса настраиваем данные для анализа парса «Crawl Analysis» — «Configure».

Шаг 4. Выполняем анализ: «Crawl Analysis» — «Start».

Шаг 5. После чего во вкладке «Content», выбрав из списка «Near Duplicates» можно увидеть страницы с похожим контентом.

Итого:

• Для каждой страницы будет указан процент схожести, а также количество URL с похожим контентом.
• Во вкладке «Duplicate Details» уже можно увидеть список похожих URL для каждой из страниц.

  

• Выделив URL в столбце «Near Duplicates Address» можно увидеть исходный контент, в котором будет выделены отличающиеся фрагменты.
  

Но необходимо понимать, что таким образом мы сможем выявить лишь похожие страницы по текстовом содержимом, но не по смыслу. Более подробно о смысловых дублях можно узнать из нашей статьи: Как выявить смысловые дубли и избавиться от них.

Еще по теме:

• Почему карточки товара могут быть малоценными страницами
В Яндексе периодически страницы карточек товаров выбывают из индекса и помечаются как малоценные. Но через некоторое время, они могут быть опять проиндексированы, но мы с...
• Нужно ли закрывать от индексации малоценные страницы карточек товаров?
Есть сайт, огромное количество страниц и карточек товаров отличаются друг от друга минимально (одни товары разных размеров). Естественно тысячи таких страниц отмечены Яндексом как некачественные....
• Работают ли ссылки с сиротских страниц?
Будет ли работать ссылка со статьи, если она день висит на главной, а потом уходит в архив? Страница со статьёй не линкуется с остальными, она...
• Как бороться с малоценными страницами старых новостей на новостном сайте?
Подскажите, что делать на новостных сайтах со старыми новостями, например за 2019 год, которые не в индексе и висят в GSC в статусе "Страница просканирована,...
• Что делать со страницей акции, когда она становится неактуальной?
На сайте периодически публикуются различные конкурсы, акции и т.д., которые ограничены по времени (условно неделя, месяц...). Что делать со страницей акции, когда она становится неактуальной?...

---

Сергей З.

SEO-аналитик

Работу в сфере IT начинал с должности контент-менеджера. Уже при создании своих личных проектов постепенно узнавал, что такое SEO, увлекло. Вдохновляюсь сложными и интересными задачами.

Мои увлечения: велоспорт и книги.

Девиз: «Другой жизни не будет!»

s.zaec@siteclinic.ru

Оцените мою статью: 

(5 оценок, среднее: 4,40 из 5)