Ответ
Screaming Frog может находить не только дубли страниц, но и похожие (неявные дубли). Происходит это следующим образом.
Шаг 1. Переходим в настройки «Configuration» — «Content» — «Duplicates» и настраиваем процент пороговой схожести контента.
Шаг 2. Далее в настройках «Configuration» — «Content» — «Duplicates» задаем исключения и правила для анализа контента, задавая теги, классы и идентификаторы.
Шаг 3. Парсим сайт. После окончания парса настраиваем данные для анализа парса «Crawl Analysis» — «Configure».
Шаг 4. Выполняем анализ: «Crawl Analysis» — «Start».
Шаг 5. После чего во вкладке «Content», выбрав из списка «Near Duplicates» можно увидеть страницы с похожим контентом.
Итого:
- Для каждой страницы будет указан процент схожести, а также количество URL с похожим контентом.
- Во вкладке «Duplicate Details» уже можно увидеть список похожих URL для каждой из страниц.
- Выделив URL в столбце «Near Duplicates Address» можно увидеть исходный контент, в котором будет выделены отличающиеся фрагменты.
Но необходимо понимать, что таким образом мы сможем выявить лишь похожие страницы по текстовом содержимом, но не по смыслу. Более подробно о смысловых дублях можно узнать из нашей статьи: Как выявить смысловые дубли и избавиться от них.
Еще по теме:
- Что делать со страницей акции, когда она становится неактуальной? На сайте периодически публикуются различные конкурсы, акции и т.д., которые ограничены по времени (условно неделя, месяц...). Что делать со страницей акции, когда она становится неактуальной?...
- Пустые категории сайта: влияние на ранжирование, закрытие от индексации, удаление На сайте есть пустые категории (довольно много) без карточек товаров. Как лучше поступить? Закрыть их от индексации, или оставить до момента заполнения? Если их закрыть...
- Малоценная или маловостребованная страница — какие страницы могут быть удалены из поиска с таким статусом? Могли ли вылететь страницы из поиска Яндекс с пометкой "Малоценная или маловостребованная страница", по причине того, что слетел ssl сертификат на сутки? Какие еще технические...
- Нужно ли закрывать от индексации страницы, у которых нет трафика? Читал, что массовое увеличение страниц на сайте, у которых нет трафика, тянет сайт на дно. А что, если вести статистику посещений товаров и, если за...
- Как бороться с карточками товара со статусом «малоценная страница» в Яндексе? В Яндексе карточки товара не попадают в индекс со статусом "малоценная". Было предложение написать уникальных отзывов на карточки и попробовать "смоделировать переходы" на эти страницы....
s.zaec@siteclinic.ru
Оцените мою статью:
(5 оценок, среднее: 4,40 из 5)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наконец сайт тронулся с места"
Илья Приходько
Patent-rus.ru"Работы на 100%. Очень рекомендую"
Емельянов Данил Юрьевич
Tortoliano.ru"Получили ответы на все вопросы"
Павел
Kidride.ru