«Анализ логов за указанный период показал множественные обращения к сайту со стороны поисковых ботов google. В данном случае рекомендуется обратиться к разработчику по вопросу тонкой настройки файла robots.txt (необходимо ограничить количество обращений в единицу времени)».
Есть ли смысл выполнять данную рекомендацию, поскольку раньше сервер выдерживал большое количество обращений ботов?
Ответ
Рекомендации вашего хостинга могут быть не совсем корректными. Если ранее сервер справлялся с нагрузкой от поисковых ботов, а сейчас возникли проблемы со скоростью загрузки, то, конечно, есть вероятность, количество запросов со стороны разных ботов значительно увеличилось. Это может быть связано с различными факторами:
- Google может более активно индексировать ваш сайт из-за обновлений алгоритмов или повышения вашей релевантности по определенным запросам.
- Возможно, на сайте появились ошибки или неэффективные элементы, которые увеличивают время обработки каждого запроса.
- Временное увеличение нагрузки на сервер из-за других сайтов, размещенных на том же хостинге.
В первую очередь необходимо докопаться до реальных причин снижения скорости загрузки страниц сайта.
1️⃣ Тщательно изучите логи сайта, убедитесь, что проблема действительно в поисковых ботах Google, а не во внешней атаке на ваш сервер. Иногда такой ерундой занимаются конкуренты, чтобы сделать сайт временно недоступным.
2️⃣ Проведите анализ скорости загрузки проблемных страниц вашего сайта, изучите GSC, откройте страницы с помощью инструментов для разработчика и посмотрите, что именно больше всего грузит вашу страницу. Альтернативно можно воспользоваться инструментом PageSpeed.
При этом, по нашему опыту директива Crawl-Delay в файле robots.txt очень часто игнорируется ботами Google, а потому вряд ли поможет. А выяснив реальные причины, вы сможете предпринять адекватные меры реагирования:
- Защитится от атак ботов можно, например, с помощью Cloudflare.
- Улучшить скорость загрузки на самих страницах сайта можно с помощью оптимизации отдельных элементов, которые имеют наибольшие проблемы (оптимизация изображений, использование Lazy Load, оптимизация скриптов и стилей, использование кєширования и т.п.).
- Возможно, стоит подключить CDN (Content Delivery Network) для распределения нагрузки на несколько серверов.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как исправить ошибку в Вебмастере: «Долгий ответа сервера»? Насколько важны "критичные" ошибки в Вебмастере с посылом "При обращении к страницам сайта среднее время ответа сервера превышает 3 секунды." ? В какой приоритет относить...
- Влияет ли скорость загрузки и скорость ответа сервера на сканирование и индексирование сайта? Если скорость ответа сервера очень маленькая, может это повлиять на сканирование и индексирование сайта? Тот же вопрос про общую скорость загрузки сайта. Ответ Да, скорость...
- Как анализировать и улучшить скорость загрузки сайта на мобильных устройствах? Скорость загрузки сайта 89/100, скорость загрузки мобильной версии – 33/100. Как с этим бороться? И нужно ли вообще бороться? Так как есть ряд специалистов, которые...
- Может ли очень низкий Page speed влиять на ранжирование мобильной версии сайта? Сайт имеет позиции в ТОП-10 в десктопной выдаче, а в мобильной даже по брендовому запросу не ранжируется, сайт оптимизирован под мобилку, но есть проблема: очень...
- Какие есть рекомендации для улучшения скорости загрузки сайта? Можете собрать чек-лист по работе со скоростью загрузки сайта. На какие пункты следует обращать внимание и что прорабатывать для улучшения данного показателя? Ответ Для улучшения...
am@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наблюдаем стремительный и уверенный рост трафика"
Пилицын Василий Сергеевич
Seatscan.ru"Мы увидели рост по целому пулу запросов"
Деревянко П.Н.
Expertology.ru"Санкции были сняты. Весь процесс занял полтора месяца"
Сергей Протасов
Svem.ru