Ответ
Screaming Frog может находить не только дубли страниц, но и похожие (неявные дубли). Происходит это следующим образом.
Шаг 1. Переходим в настройки «Configuration» — «Content» — «Duplicates» и настраиваем процент пороговой схожести контента.
Шаг 2. Далее в настройках «Configuration» — «Content» — «Duplicates» задаем исключения и правила для анализа контента, задавая теги, классы и идентификаторы.
Шаг 3. Парсим сайт. После окончания парса настраиваем данные для анализа парса «Crawl Analysis» — «Configure».
Шаг 4. Выполняем анализ: «Crawl Analysis» — «Start».
Шаг 5. После чего во вкладке «Content», выбрав из списка «Near Duplicates» можно увидеть страницы с похожим контентом.
Итого:
- Для каждой страницы будет указан процент схожести, а также количество URL с похожим контентом.
- Во вкладке «Duplicate Details» уже можно увидеть список похожих URL для каждой из страниц.
- Выделив URL в столбце «Near Duplicates Address» можно увидеть исходный контент, в котором будет выделены отличающиеся фрагменты.
Но необходимо понимать, что таким образом мы сможем выявить лишь похожие страницы по текстовом содержимом, но не по смыслу. Более подробно о смысловых дублях можно узнать из нашей статьи: Как выявить смысловые дубли и избавиться от них.
Еще по теме:
- Малоценная или маловостребованная страница — какие страницы могут быть удалены из поиска с таким статусом? Могли ли вылететь страницы из поиска Яндекс с пометкой "Малоценная или маловостребованная страница", по причине того, что слетел ssl сертификат на сутки? Какие еще технические...
- Стоит ли оптимизировать текст для малополезных страниц? На сайте опубликовано порядка 50 тысяч страниц, где меняется только заголовок и некоторые переменные. И используется однотипное короткое описание, описывающее деятельность магазина, впрочем как и...
- Нужно ли закрывать от индексации малоценные страницы карточек товаров? Есть сайт, огромное количество страниц и карточек товаров отличаются друг от друга минимально (одни товары разных размеров). Естественно тысячи таких страниц отмечены Яндексом как некачественные....
- Как бороться с малоценными страницами старых новостей на новостном сайте? Подскажите, что делать на новостных сайтах со старыми новостями, например за 2019 год, которые не в индексе и висят в GSC в статусе "Страница просканирована,...
- Сколько малоценных и маловостребованных страниц может быть в интернет-магазине? Какое количество "малоценных или маловостребованных страниц" в Яндекс.Вебмастере для ИМ считается нормальным? Не понимаю насколько сильно они могут тащить сайт вниз? Для карточек товара такой...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Рекомендации помогли улучшить позиции сайта, которые серьезно просели"
Артур Шаймухаметов
Boogie-shop.ru"Результат ‒ восстановление доли трафика Яндекса"
Ирина Смирнова
Diagnos.ru"Ощутимый рост позиций после второго апа"
Абрамов Дмитрий Сергеевич
Dvermezhkom-service.ru







(5 оценок, среднее: 4,40 из 5)