Как узнать как гуляет google бот по сайту

Ответ

Самый достоверный способ узнать как часто google бот посещает сайт в целом и конкретные страницы — это проанализировать логи сайта.

Каждое обращение к сайту фиксируется — как от пользователя, так и от поисковых ботов. Анализ логов позволяет увидеть, какие поисковые системы, сканируют ваш сайт, как вел себя на сайте посетитель и прочее.

Также анализ логов сервера:

• позволит узнать, сколько краулингового бюджета теряется и где именно;
• помогает выявить и корректно настроить возникшие ошибки 404;
• позволяет найти страницы, которые редко сканируются или игнорируются поисковиками.

Какие именно user-agent являются google ботами, можно увидеть в справке Google.

Еще по теме:

• Как и чем анализировать логи сайта?
Как и чем анализировать логи сайта? Только начинаю свой путь в этом направлении, поэтому интересно как и в чём анализ логов может помочь SEOшнику? Ответ...

---

Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)