Заголовок Last-Modified: нужно ли настраивать его, как и в каких ПС действует Last-Modified

Ответ

При посещении сайта, на котором не настроен заголовок last-Modified, робот будет производить индексацию всех страниц интернет-ресурса снова и снова, создавая лишнюю нагрузку на сервер. К тому же робот будет тратить краулинговый бюджет и потенциально важные страницы могут долго индексироваться. Поэтому мы рекомендуем реализовать Last-Modified на страницах вашего сайта.

Last-Modified подходит для поисковых систем Яндекс и Google.

Last-Modified помогает поисковым системам быстрее сканировать/индексировать новые страницы за счет распределения краулингово бюджета, но это при условии его правильной реализации.

Принцип работы Last-Modified

Если на странице не вносились изменения с момента предыдущего посещения ботом, сервер отдает 304 ответ. То есть бот понимает, что контент не изменился и нет смысла в переобходе и переиндексации страницы. В результате бот не скачивает содержимое страниц, расходует квоту на реально изменившиеся страницы со времени предыдущей индексации. Либо индексирует новые страницы сайта.

Еще по теме:

• Влияют ли на краулинговый бюджет мусорные страницы и как его увеличить?
Есть довольно крупный сайт и в индексе в основном мусорные и не совсем качественные страницы. В последнее время столкнулись с проблемой индексации новых и весьма...
• Как правильно удалить старые страницы сайта без трафика?
Есть крупный сайт услуг с 300 тыс. страниц. Сайт хорошо ранжируется, быстро индексируется. Но на сайте много страниц без трафика – совсем старые статьи, новости...
• Как сократить количество 301 редиректов для краулинга?
В серч консоле гугл бот тратит 23% на обработку 301 редиректов. Как сократить количество 301 редиректов для краулинга? Ответ Если вы обнаружили достаточно большое количество...
• Что делать с большим количеством 404 страниц?
На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
• Как увеличить и оптимизировать краулинговый бюджет?
У вас есть чек-лист по краулинговому бюджету сайта? Интересует как увеличить краулинговый бюджет и базовые рекомендации по его оптимизации. Ответ Чтобы увеличить краулинговый бюджет и...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(1 оценок, среднее: 5,00 из 5)