+7 (495) 215-53-73

В Москве

Заказать SEO-услуги
Согласен с правилами обработки персональных данных
Скорость ответа - до 30 минут!

Главная    Вопросы по SEO, продвижению и оптимизации сайтов в Яндекс и Google    Смена домена / переезд    Как замедлить скорость сканирования Googlebot? Как избежать проблем при переносе сайта на другой сервер?

Как замедлить скорость сканирования Googlebot? Как избежать проблем при переносе сайта на другой сервер?

Заказать SEO-услуги
Согласен с правилами обработки персональных данных
Скорость ответа - до 30 минут!
Подскажите, пожалуйста, есть ли какой-то метод вынудить google бота cканировать медленнее? Сrawl-rate в консоли я поставил маленький совсем, в robots лишнее закрыто. Бот все равно краулит в 10 раз интенсивнее, чем обычно. Сервер не выдерживает, перегревается, часто 503 кидать начинает. И еще сразу же вопрос: могут ли возникнуть проблемы при переносе сайта с одного сервера на другой? Как их избежать?

Ответ

Если вы уже установили crawl-rate в Google Search Console на минимальное значение, и Google всё равно слишком активно сканирует ваш сайт, стоит убедиться, что это делают действительно google-боты. Выгрузите логи сайта и пересмотрите user-agent во время пиковой нагрузки сервера.

Кроме того, убедитесь, что ваш сервер действительно хорошо оптимизирован. Используйте кеширование, оптимизируйте базу данных, уменьшите размер страниц и статические ресурсы, где это возможно.

Есть также рискованный метод, который рекомендует Справка Google для уменьшения частоты сканирование на короткий промежуток времени. Показывайте вместо контента страницу с кодом статуса HTTP 500, 503. Справка утверждает, что в таком случае робот Googlebot будет сканировать ваш ресурс реже.

Учтите, что данный способ может значительно повлиять на ранжирование сайта в негативную сторону.

Помните, если у вас будет грамотная и простая структура, если ваши страницы будут загружаться и отрисовываться быстрее, Google сможет просканировать быстрее контент на вашем сайте, что также косвенно может помочь решить вашу проблему.

Что касается переноса сайта с одного сервера на другой, то тут обычно проблем возникать не должно. С каждым хостингом могут быть индивидуальные нюансы, но можем дать общие рекомендации:

  • Прежде всего, создайте резервные копии всех файлов и базы данных вашего сайта.
  • Перед тем как перенести сайт полностью, настройте его на новом сервере и проведите тестирование. Убедитесь, что все работает корректно.
  • После того как вы убедились, что ваш сайт работает на новом сервере, обновите записи DNS.
  • Убедитесь, что SSL-сертификат корректно установлен на новом сервере.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:


Андрей М.

SEO-аналитик

Как только познакомился с SEO, возможности оказывать влияние на продвижение сайта и безграничного личного развития впечатлили настолько, что теперь не представляю, как мог заниматься чем либо ещё в жизни.

Увлекаюсь квестами, загадками и настольными играми.

Девиз: Carpe diem

am@siteclinic.ru

Оцените мою статью: 

1 Star2 Stars3 Stars4 Stars5 Stars (Пока оценок нет)

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Отзывы клиентов:

"Сайт вышел из-под фильтра, переспам был ликвидирован"

Вячеслав Мусякаев

Vprognoze.ru

"Поисковик вернул сайту «отобранных» ранее посетителей"

Александр Люкс

English-easy.info

"Помогли моему сайту выйти из-под фильтра Яндекса"

Ольга Куракина

Dogscat.com
Все отзывы

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *


Мы продвигаем: