Как правильно удалять бесполезные страницы из индекса?

Ответ

Ответ сервера 404, не дает 100% удаление из выдачи не желаемых страниц. Робот через определенное время все равно вернется на данную страницу с целью проверки смены ответа сервера для данной странице.

Если таких страниц не много, то не проблема, если более 50% на сайте (или «несколько тысяч бесполезных страниц»), то это негативно влияет на следующие параметры:

1. Усложняет переобход важных страниц, учитывая, что робот много времени тратит на мусорные ссылки.
2. Ухудшаются позиции, из-за того, что ухудшается качество сайта из-за преобладания количества низкокачественных страниц над качественными.

Также, перед тем как удалять, необходимо выяснить насколько важны эти страницы для сайта, а именно:

• Если на такие страницы ведут внешние ссылки, то стоит настроить 301 редирект, так как отключение такого количества страниц, на которые ссылаются, может негативно ударить по ссылочному профилю.
• Необходимо выяснить, как эти страницы участвуют во внутренней перелинковки. Удаление такого количества страниц может ударить по внутреннему весу страниц и привести к ухудшению позиций.
• Необходимо выяснить имеют ли данные страницы семантические запросы необходимые для сайта. Удалив такие страницы, мы ухудшим кластер сайта и можем также просесть,так как поисковый робот посчитает наш сайт менее подходящим, чем наши конкуренты.

Поэтому стоит настроить 410 ответ сервера для мусорных страниц, что отменяет повторный возврат бота на удаленную страницу. Но настроить статус ответа сервера, это только 50 % работы, необходимо, чтобы робот обошел их.

Мы проводили эксперимент, настроив для таких страниц ответ сервера 410, и ждали, пока робот их обойдет. На обход таких страниц тратилась значительная часть краулингового бюджета, поэтому мы вручную отправили на переобход мусорные страницы и через длительный промежуток времени, закрыли папку в robots.

Если постепенно удалять страницы, такая процедура затянется, а постоянное уменьшение объема сайта может негативно отразиться на ранжировании.

Еще по теме:

• Как удалить спамные страницы с изменённым контентом после взлома сайта?
Сайт был взломан, сейчас его полечили, все вирусы убрали. Но в выдаче весь спам остался. Как максимально быстро убрать весь мусор из выдачи? 1. Как...
• Могут ли упасть позиции и трафик страниц категорий из-за удаления карточек товара?
В интернет магазине было около 37 тыс товаров. Месяц назад была чистка, убрали 7-8 тыс товаров, они сваливались в 404…. Сейчас, позиции по кс категорий...
• Что делать с удаляющимися карточками товара, которого уже нет в наличии?
Сайт по продаже авто из США, товары парсятся из сайтов аукционов в США. То есть на сайте каждый день обновляются товары и так же удаляются....
• Что делать, если страницы удалились из индекса и просели позиции из-за недоступности сайта?
Не оплатили доменное имя и сайт неделю был недоступен. Когда проблема была устранена обнаружилось что по самому частотному запросу сайт из топа Google, хотя находится...
• Как удалить http страницы из индекса Google после переезда на https?
Сайт уже несколько лет назад переведен на https, со всех страниц с http сделан редирект 301 на https. Но Google несколько десятков страниц с http...

---

Евгений

SEO-аналитик

Юрист по образованию. Что такое SEO узнал на собеседовании. Прошел тернистый путь от контент-менеджера к SEO-аналитику.

Девиз:  Юмор. Сохраняй чувство юмора, особенно в отношении себя самого — это безграничная сила.

e.zavgorodnij@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)