С чем может быть связана проблема парсинга лягушкой?
В индексе 5к страниц, лягушка парсит при этом только 2к урлов. Большую часть урлов это товары, которые есть в индексе поисковиков, а лягушка при этом некоторые даже помечает как non-indexable.
Из-за чего возникает подобная проблема и как ее решить?
В индексе 5к страниц, лягушка парсит при этом только 2к урлов. Большую часть урлов это товары, которые есть в индексе поисковиков, а лягушка при этом некоторые даже помечает как non-indexable.
Из-за чего возникает подобная проблема и как ее решить?
Ответ
Возможные причины того, что Screaming Frog не обходит все страницы сайта:
- Самое банальное — у не проиндексированных страниц нет внутренних ссылок. Проверить это можно, просмотрев отчет в Screaming Frog “Внутренние ссылки”. Если вы действительно выявите проблему с внутренней перелинковкой — исправляйте ее.
- Если ваш сайт использует много JavaScript для отображения контента, Screaming Frog может не обрабатывать его должным образом и пропускать некоторые страницы. Проверьте, какой контент может быть недоступен без JavaScript, и убедитесь, что Screaming Frog имеет возможность парсить такой контент (например, включив опцию «Render JavaScript» в настройках).
- Та же ситуация и с использованием AJAX. Если ваш сайт использует много AJAX-загрузок контента, Screaming Frog может пропускать эти страницы, так как они не всегда обнаруживаются при обычном сканировании. Включите режим «Crawl JavaScript» и «Crawl AJAX» в Screaming Frog для более полного сканирования.
- Если у вас на сайте используются динамические URL-адреса, они могут привести к проблемам с парсингом, особенно если Screaming Frog не может правильно интерпретировать параметры в URL. Разберитесь с параметрами URL и убедитесь, что Screaming Frog может обрабатывать их корректно.
- Проверьте, нет ли на сайте ограничений доступа, таких как файл robots.txt, который запрещает индексацию или сканирование некоторых страниц. Убедитесь, что Screaming Frog имеет доступ к всем нужным страницам, чтобы полностью просканировать сайт.
Некоторые страницы могут помечаться как non-indexable из-за проблем с сервером, ограничений доступа или неправильной настройки парсера. Подробнее:
- Медленные серверы или проблемы с доступностью сайта могут привести к тому, что часть страниц будет отдавать 500 ошибки и статус non-indexable. Если это так, то советуем уменьшить количество потоков, чтобы снять нагрузку на сервер.
- Индексирование страниц может быть запрещено метатегам robots.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
Еще по теме:
- Как в инструменте Key Collector настраивать сбор запросов по группам? Как понять в какой последовательности расставлять группы запросов в КК, перед началом парсинга, чтобы ключи попали именно в ту группу, в которую необходимо. Ответ У...
- Сервисы для анализа процента вхождения ключевых слов Есть ли какие-то специализированные сервисы (инструменты), которые позволяют проанализировать процент вхождения ключей в title, description, h1, h2-h4, внутренние ссылки и в текст страницы? С возможностью...
- Какие инструменты использовать при написании SEO-отчетов? Порекомендуйте, пожалуйста, хорошие сервисы для генерации SEO-отчетов, если такие существуют, конечно. Готовить все ручками в вордовском файле или экселе напряжно, когда клиентов становится много. Хочется...
- Каким инструментом анализировать ссылочный профиль конкурентов? Какой сервис точнее всего покажет обратные ссылки на сайт конкурента? Ответ Сейчас есть огромное количество сервисов, позволяющих оценить вес страницы и анализ внешних (обратных) ссылок....
- Какими инструментами проверить индексацию страниц своего сайта и сайтов конкурентов? Как можно быстро проверить индексацию всех страниц сайта? И то же самое с сайтами конкурентов: какие страницы индексируются, какие закрыты от индексации. Посоветуйте инструменты для...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Сайт вышел из-под фильтра, переспам был ликвидирован"
Вячеслав Мусякаев
Vprognoze.ru"Получили +15-20 к ВЧ-запросам в Яндексе"
Денис Нарижный
Komputernaya.ru"Развернутый и структурированный отчет с указанием ошибок"
Владислав Аверьянов
Homesoverseas.ru