Ответ
Screaming Frog может находить не только дубли страниц, но и похожие (неявные дубли). Происходит это следующим образом.
Шаг 1. Переходим в настройки «Configuration» — «Content» — «Duplicates» и настраиваем процент пороговой схожести контента.
Шаг 2. Далее в настройках «Configuration» — «Content» — «Duplicates» задаем исключения и правила для анализа контента, задавая теги, классы и идентификаторы.
Шаг 3. Парсим сайт. После окончания парса настраиваем данные для анализа парса «Crawl Analysis» — «Configure».
Шаг 4. Выполняем анализ: «Crawl Analysis» — «Start».
Шаг 5. После чего во вкладке «Content», выбрав из списка «Near Duplicates» можно увидеть страницы с похожим контентом.
Итого:
- Для каждой страницы будет указан процент схожести, а также количество URL с похожим контентом.
- Во вкладке «Duplicate Details» уже можно увидеть список похожих URL для каждой из страниц.
- Выделив URL в столбце «Near Duplicates Address» можно увидеть исходный контент, в котором будет выделены отличающиеся фрагменты.
Но необходимо понимать, что таким образом мы сможем выявить лишь похожие страницы по текстовом содержимом, но не по смыслу. Более подробно о смысловых дублях можно узнать из нашей статьи: Как выявить смысловые дубли и избавиться от них.
Еще по теме:
- Как новому сайту справиться с малоценными и маловостребованными страницами? Как для нового проекта (несколько недель) заставить Яндекс отправить страницы со статусом "Малоценная или маловостребованная страница" в поиск? Контент на 100% уникальный у каждой страницы,...
- Что делать со страницами, на которых всего несколько предложений контента? Что делать со страницами, на которых всего несколько предложений контента? Таких страниц получается много и боюсь, чтобы они не повлияли на общую оценку сайта. Ответ...
- Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть...
- Работают ли ссылки с сиротских страниц? Будет ли работать ссылка со статьи, если она день висит на главной, а потом уходит в архив? Страница со статьёй не линкуется с остальными, она...
- Вредят ли сайту старые малополезные и фейковые страницы? Наблюдаем такую картину – в индексе Google встречаются страницы, например, 2009 года которые: а) малополезны б) фейк Такие страницы вредят сайту? Ответ Да, большое количество...
s.zaec@siteclinic.ru
Оцените мою статью:
(5 оценок, среднее: 4,40 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Отчеты и консультации всегда исчерпывающие и действенные"
"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Помогли усилить позиции и убрать не точности в структуре магазина"
Вадим Соломенцев
Sportique.ru