С чем может быть связана проблема парсинга лягушкой?
В индексе 5к страниц, лягушка парсит при этом только 2к урлов. Большую часть урлов это товары, которые есть в индексе поисковиков, а лягушка при этом некоторые даже помечает как non-indexable.
Из-за чего возникает подобная проблема и как ее решить?
В индексе 5к страниц, лягушка парсит при этом только 2к урлов. Большую часть урлов это товары, которые есть в индексе поисковиков, а лягушка при этом некоторые даже помечает как non-indexable.
Из-за чего возникает подобная проблема и как ее решить?
Ответ
Возможные причины того, что Screaming Frog не обходит все страницы сайта:
- Самое банальное — у не проиндексированных страниц нет внутренних ссылок. Проверить это можно, просмотрев отчет в Screaming Frog “Внутренние ссылки”. Если вы действительно выявите проблему с внутренней перелинковкой — исправляйте ее.
- Если ваш сайт использует много JavaScript для отображения контента, Screaming Frog может не обрабатывать его должным образом и пропускать некоторые страницы. Проверьте, какой контент может быть недоступен без JavaScript, и убедитесь, что Screaming Frog имеет возможность парсить такой контент (например, включив опцию «Render JavaScript» в настройках).
- Та же ситуация и с использованием AJAX. Если ваш сайт использует много AJAX-загрузок контента, Screaming Frog может пропускать эти страницы, так как они не всегда обнаруживаются при обычном сканировании. Включите режим «Crawl JavaScript» и «Crawl AJAX» в Screaming Frog для более полного сканирования.
- Если у вас на сайте используются динамические URL-адреса, они могут привести к проблемам с парсингом, особенно если Screaming Frog не может правильно интерпретировать параметры в URL. Разберитесь с параметрами URL и убедитесь, что Screaming Frog может обрабатывать их корректно.
- Проверьте, нет ли на сайте ограничений доступа, таких как файл robots.txt, который запрещает индексацию или сканирование некоторых страниц. Убедитесь, что Screaming Frog имеет доступ к всем нужным страницам, чтобы полностью просканировать сайт.
Некоторые страницы могут помечаться как non-indexable из-за проблем с сервером, ограничений доступа или неправильной настройки парсера. Подробнее:
- Медленные серверы или проблемы с доступностью сайта могут привести к тому, что часть страниц будет отдавать 500 ошибки и статус non-indexable. Если это так, то советуем уменьшить количество потоков, чтобы снять нагрузку на сервер.
- Индексирование страниц может быть запрещено метатегам robots.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Подписаться на рассылку
Еще по теме:
- Какими инструментами проверить индексацию страниц своего сайта и сайтов конкурентов? Как можно быстро проверить индексацию всех страниц сайта? И то же самое с сайтами конкурентов: какие страницы индексируются, какие закрыты от индексации. Посоветуйте инструменты для...
- Сервисы для анализа процента вхождения ключевых слов Есть ли какие-то специализированные сервисы (инструменты), которые позволяют проанализировать процент вхождения ключей в title, description, h1, h2-h4, внутренние ссылки и в текст страницы? С возможностью...
- Какой сервис даёт более точную информацию по трафику и ключам? Сравниваю Ahrefs, Serpstat и Analitics. Везде разные данные по трафику. Какой инструмент даёт более точную информацию, в том числе и по трафику по ключам?! По...
- Какие инструменты использовать при написании SEO-отчетов? Порекомендуйте, пожалуйста, хорошие сервисы для генерации SEO-отчетов, если такие существуют, конечно. Готовить все ручками в вордовском файле или экселе напряжно, когда клиентов становится много. Хочется...
- Инструменты для анализа внутренней перелинковки Можете подсказать инструменты, которые покажут внутреннюю перелинковку на сайте? То есть какая страница на какую ссылается и с каким анкором? Ответ Самый доступный инструмент анализа...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"С первого контакта до положительного ответа Яндекса прошло 2 недели"
Александр Кисленко
Ovkuse.ru"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru"Сайт вышел из-под фильтра, переспам был ликвидирован"
Вячеслав Мусякаев
Vprognoze.ru


