Анализ и поиск thin контента и неявных дублей на сайте

Ответ

Screaming Frog может находить не только дубли страниц, но и похожие (неявные дубли). Происходит это следующим образом.

Шаг 1. Переходим в настройки «Configuration» — «Content» — «Duplicates» и настраиваем процент пороговой схожести контента.

Шаг 2. Далее в настройках «Configuration» — «Content» — «Duplicates» задаем исключения и правила для анализа контента, задавая теги, классы и идентификаторы.

Шаг 3. Парсим сайт. После окончания парса настраиваем данные для анализа парса «Crawl Analysis» — «Configure».

Шаг 4. Выполняем анализ: «Crawl Analysis» — «Start».

Шаг 5. После чего во вкладке «Content», выбрав из списка «Near Duplicates» можно увидеть страницы с похожим контентом.

Итого:

• Для каждой страницы будет указан процент схожести, а также количество URL с похожим контентом.
• Во вкладке «Duplicate Details» уже можно увидеть список похожих URL для каждой из страниц.

  

• Выделив URL в столбце «Near Duplicates Address» можно увидеть исходный контент, в котором будет выделены отличающиеся фрагменты.
  

Но необходимо понимать, что таким образом мы сможем выявить лишь похожие страницы по текстовом содержимом, но не по смыслу. Более подробно о смысловых дублях можно узнать из нашей статьи: Как выявить смысловые дубли и избавиться от них.

Еще по теме:

• Что делать с малоценными страницами старых новостей, акций и обзоров?
Есть страницы которые уже трафика не приведут это точно, а именно старые новости компании или обзоры услуг, типа "Услуга 2020 год". Явно уже страница не...
• Нужно ли закрывать от индексации малоценные страницы карточек товаров?
Есть сайт, огромное количество страниц и карточек товаров отличаются друг от друга минимально (одни товары разных размеров). Естественно тысячи таких страниц отмечены Яндексом как некачественные....
• Что делать с пустыми страницами пагинации?
Как лучше поступать со страницами пагинации, которые стали пустыми? Допустим было в категории 10 страниц товаров, часть товаров удалили (или просто не в наличии стали,...
• Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление
На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть...
• Как бороться с карточками товара со статусом «малоценная страница» в Яндексе?
В Яндексе карточки товара не попадают в индекс со статусом "малоценная". Было предложение написать уникальных отзывов на карточки и попробовать "смоделировать переходы" на эти страницы....

---

Сергей З.

SEO-аналитик

Работу в сфере IT начинал с должности контент-менеджера. Уже при создании своих личных проектов постепенно узнавал, что такое SEO, увлекло. Вдохновляюсь сложными и интересными задачами.

Мои увлечения: велоспорт и книги.

Девиз: «Другой жизни не будет!»

s.zaec@siteclinic.ru

Оцените мою статью: 

(5 оценок, среднее: 4,40 из 5)