Ответ
При посещении сайта, на котором не настроен заголовок last-Modified, робот будет производить индексацию всех страниц интернет-ресурса снова и снова, создавая лишнюю нагрузку на сервер. К тому же робот будет тратить краулинговый бюджет и потенциально важные страницы могут долго индексироваться. Поэтому мы рекомендуем реализовать Last-Modified на страницах вашего сайта.
Last-Modified подходит для поисковых систем Яндекс и Google.
Last-Modified помогает поисковым системам быстрее сканировать/индексировать новые страницы за счет распределения краулингово бюджета, но это при условии его правильной реализации.
Принцип работы Last-Modified
Если на странице не вносились изменения с момента предыдущего посещения ботом, сервер отдает 304 ответ. То есть бот понимает, что контент не изменился и нет смысла в переобходе и переиндексации страницы. В результате бот не скачивает содержимое страниц, расходует квоту на реально изменившиеся страницы со времени предыдущей индексации. Либо индексирует новые страницы сайта.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Как сократить количество 301 редиректов для краулинга? В серч консоле гугл бот тратит 23% на обработку 301 редиректов. Как сократить количество 301 редиректов для краулинга? Ответ Если вы обнаружили достаточно большое количество...
- Правильно ли делать глубокую вложенность страницы и как она сказывается на краулинговом бюджете? Правильно ли будет делать глубокую вложенность: https://www.site.сom/tool/avtomobilnyy-instrument/domkraty/reechnye/ Хлебные крошки тут такие: Главная / Каталог товаров / Инструмент / Автомобильный инструмент / ДОМКРАТЫ / РЕЕЧНЫЕ Как...
- Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц? Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...
- Влияют ли на краулинговый бюджет мусорные страницы и как его увеличить? Есть довольно крупный сайт и в индексе в основном мусорные и не совсем качественные страницы. В последнее время столкнулись с проблемой индексации новых и весьма...
- Как увеличить и оптимизировать краулинговый бюджет? У вас есть чек-лист по краулинговому бюджету сайта? Интересует как увеличить краулинговый бюджет и базовые рекомендации по его оптимизации. Ответ Чтобы увеличить краулинговый бюджет и...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Яндекс снял фильтр уже после первой заявки"
Люк Усса
CreditProsto.ru"Не ожидал получить настолько качественный анализ и советы за минимальную цену"
Дмитрий Сокол
Hostings.info"Прошло не так много времени, но первые результаты уже налицо"
Евгений Ильин
Best-stroy.ru