Анализ и поиск thin контента и неявных дублей на сайте

Ответ

Screaming Frog может находить не только дубли страниц, но и похожие (неявные дубли). Происходит это следующим образом.

Шаг 1. Переходим в настройки «Configuration» — «Content» — «Duplicates» и настраиваем процент пороговой схожести контента.

Шаг 2. Далее в настройках «Configuration» — «Content» — «Duplicates» задаем исключения и правила для анализа контента, задавая теги, классы и идентификаторы.

Шаг 3. Парсим сайт. После окончания парса настраиваем данные для анализа парса «Crawl Analysis» — «Configure».

Шаг 4. Выполняем анализ: «Crawl Analysis» — «Start».

Шаг 5. После чего во вкладке «Content», выбрав из списка «Near Duplicates» можно увидеть страницы с похожим контентом.

Итого:

• Для каждой страницы будет указан процент схожести, а также количество URL с похожим контентом.
• Во вкладке «Duplicate Details» уже можно увидеть список похожих URL для каждой из страниц.

  

• Выделив URL в столбце «Near Duplicates Address» можно увидеть исходный контент, в котором будет выделены отличающиеся фрагменты.
  

Но необходимо понимать, что таким образом мы сможем выявить лишь похожие страницы по текстовом содержимом, но не по смыслу. Более подробно о смысловых дублях можно узнать из нашей статьи: Как выявить смысловые дубли и избавиться от них.

Еще по теме:

• Вредят ли сайту старые малополезные и фейковые страницы?
Наблюдаем такую картину – в индексе Google встречаются страницы, например, 2009 года которые: а) малополезны б) фейк Такие страницы вредят сайту? Ответ Да, большое количество...
• Какой процент мусорных страниц в индексе ПС считается критичным и как с ними бороться?
Сколько процентов мусорных страниц в индексе поисковых систем считается критичным и надо с ними бороться? Например, закрывать от индексации или делать их 404 ошибкой. Ответ...
• Как бороться с карточками товара со статусом «малоценная страница» в Яндексе?
В Яндексе карточки товара не попадают в индекс со статусом "малоценная". Было предложение написать уникальных отзывов на карточки и попробовать "смоделировать переходы" на эти страницы....
• Страницы без поисковых сигналов, трафика и потенциала для привлечения трафика
На сайте есть около 1000 коммерческих страниц, которые отличаются только метатегами под каждый город России. Но почти нет частотности и трафик они не приносят. Большая...
• Что делать с малоценными страницами старых новостей, акций и обзоров?
Есть страницы которые уже трафика не приведут это точно, а именно старые новости компании или обзоры услуг, типа "Услуга 2020 год". Явно уже страница не...

---

Сергей З.

SEO-аналитик

Работу в сфере IT начинал с должности контент-менеджера. Уже при создании своих личных проектов постепенно узнавал, что такое SEO, увлекло. Вдохновляюсь сложными и интересными задачами.

Мои увлечения: велоспорт и книги.

Девиз: «Другой жизни не будет!»

s.zaec@siteclinic.ru

Оцените мою статью: 

(5 оценок, среднее: 4,40 из 5)