Как сократить количество 301 редиректов для краулинга?

Ответ

Если вы обнаружили достаточно большое количество страниц в GSC, которые отвечают 301 редиректами, то вам нужно детально просмотреть, что это за страницы и откуда поисковая система вообще их взяла.

Первый вариант
Чаще всего получается, что при детальном рассмотрении оказывается, что они размещены на сайте и поисковые роботы берут их непосредственно со страниц, а оказались они там в результате ошибки. Например: все url на сайте оканчиваются на «/», но в исходном коде размещаются страницы без «/» на конце. Робот, получив такую ссылку и перейдя по ней, занесет её в базу 301 страниц, которые он нашел на сайте.
Что в итоге: 301 страницы появились в результате ошибки формата размещения url на сайте.
Как решить: Вам нужно воспользоваться программами-анализаторами сайтов, например, xenu или seo frog, которые просканируют сайт и найдут все страницы, которые содержат ссылки, отвечающие 301 кодом. Затем вам просто нужно заменить некорректные ссылки на нормальные.

Второй вариант
На сайте действительно достаточное количество ссылок, отвечающих 301 кодом, которые появились в результате изменения структуры сайта или удаления разделов. Такая ситуация чаще всего встречается, когда владелец сайта не вел его изначально, а купил уже в готовом виде. Может оказаться, что тысячи страниц старых разделов ссылаются на главную или на новый url раздела.
Что в итоге: 301 страницы появились в результате естественного развития сайта.
Как решить: Вам опять-же нужно проанализировать эти страницы. Допустим у вас раньше на сайте был раздел с url /сatalogg/, спустя время вы заметили дублирование и удалили одну букву в url, у вас получилось /сatalog/. Все внутренние подразделы этого каталога стали редиректить по новым адресам. В данном случае вы особо ничего не можете сделать, пока в поисковых базах будут содержаться сведения про старый вариант отображения url, а находиться они там могу достаточно долго.

Третий вариант
После изменения структуры сайта изменились url части страниц сайта (в т.ч. и карточки товара).
Как решить: Вам нужно проверить, чтобы на старых url не было трафика, а новые url все были в индексе. В этом случае можно просто удалить эти редиректы и забыть про существование старых форматов url. Со временем старые url отвалятся и в отчетах GSC.

Еще по теме:

• Влияют ли на краулинговый бюджет мусорные страницы и как его увеличить?
Есть довольно крупный сайт и в индексе в основном мусорные и не совсем качественные страницы. В последнее время столкнулись с проблемой индексации новых и весьма...
• Как увеличить и оптимизировать краулинговый бюджет?
У вас есть чек-лист по краулинговому бюджету сайта? Интересует как увеличить краулинговый бюджет и базовые рекомендации по его оптимизации. Ответ Чтобы увеличить краулинговый бюджет и...
• Что делать с большим количеством 404 страниц?
На постоянно меняющейся структуре большого магазина, при обмене данных, возникает большое кол-во 404 (битых ссылок). Нужно ли обращать внимание на такие страницы — делать 301...
• Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц?
Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...
• Что в настоящее время влияет на краулинговый бюджет сайта?
Что в настоящее время оказывает влияние на краулинговый бюджет поисковых роботов? И как можно увеличить краулинговый бюджет для сайта? Ответ В настоящее время на краулинговый...

---

Никита Д.

nikita.d@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)