Как узнать как гуляет google бот по сайту

Ответ

Самый достоверный способ узнать как часто google бот посещает сайт в целом и конкретные страницы — это проанализировать логи сайта.

Каждое обращение к сайту фиксируется — как от пользователя, так и от поисковых ботов. Анализ логов позволяет увидеть, какие поисковые системы, сканируют ваш сайт, как вел себя на сайте посетитель и прочее.

Также анализ логов сервера:

• позволит узнать, сколько краулингового бюджета теряется и где именно;
• помогает выявить и корректно настроить возникшие ошибки 404;
• позволяет найти страницы, которые редко сканируются или игнорируются поисковиками.

Какие именно user-agent являются google ботами, можно увидеть в справке Google.

Еще по теме:

• Почему бот переобходит 404 страницы без активных ссылок и надо ли при этом анализировать логи?
Имеет ли смысл анализировать логи сайта? Вижу, что бот часто заходит на 404е. Активных ссылок на них нет, все исправлено, но бот регулярно их проверяет....
• Как и чем анализировать логи сайта?
Как и чем анализировать логи сайта? Только начинаю свой путь в этом направлении, поэтому интересно как и в чём анализ логов может помочь SEOшнику? Ответ...

---

Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)