Причины выпадения страниц из индекса поисковых систем

Сегодня мы рассмотрим основные причины проблем с индексацией и выпадения страниц из индекса Яндекса и Google. В статье мы покажем, на что обращать внимание, если вы внезапно обнаружите отсутствие ключевых для продвижения страниц в поиске.

1. Технические причины
2. Проблемы с контентом
3. Ограничения со стороны поисковых систем

Исключённые из поиска страницы можно найти в Яндекс.Вебмастере и Google Search Console:

• Алгоритм для Яндекс.Вебмастера: «Индексирование – Страницы в поиске – Исключённые страницы».

• Алгоритм для Google Search Console: «Индекс – Покрытие – Исключено».

Яндекс в своей справке подробно описывает причины, по которым страницы сайта могут быть исключены из индекса поисковой системы.

Google также приводит перечень причин выпадения из поиска.

1. Технические причины

Некорректный ответ сервера

Причина выпадения:

Страницы с кодом ответа 4ХХ либо 5ХХ не могут быть внесены в поисковую базу.

4ХХ ответ сервера применяется для случаев, когда существует ошибка на стороне клиента. Часто посетители могут обращаться к несуществующим адресам, либо когда URL удалён.

5ХХ ошибки говорят о сбое в работе сервера.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Необходимо проверить корректность ответа сервера целевого URL. Для этого в Яндекс.Вебмастере выбираем: «Инструменты – Проверка ответа сервера».

Если страница выпала из индекса и должна приносить трафик либо содержит полезные для сайта внешние сигналы, её нужно восстановить.

Запрет индексирования в файле robots.txt или метатеге noindex

Причина выпадения:

• наличие в robots.txt инструкций для поискового робота, запрещающих сканирование страниц/разделов на сайте;
• метатег с директивой noindex в коде выпавших из индекса страниц.

Файл robots.txt предназначен для указания рекомендаций по сканированию сайта для поисковых систем. Владельцы сайтов с помощью этого файла часто могут запрещать сканирование важных для продвижения сайтов.

Директива noindex говорит поисковым краулерам, что данную страницу не стоит включать в индекс поисковой системы.

Пример отчёта:

Яндекс.Вебмастер

Яндекс.Вебмастер

Как исправить:

• удалить из файла robots.txt лишние директивы, которые запрещают сканировать исключённые страницы/разделы сайта;
• метатег noindex необходимо удалить из кода.

После этого необходимо отправить страницу на переобход.

Яндекс.Вебмастер: «Индексирование – Переобход страниц – вводим URL – Отправить».

Google Search Console: в строку поиска вводим адрес страницы – нажимаем Enter – «Запросить индексирование».

Всё о файле robots.txt описано в статье «Гайд по robots.txt: создаём, настраиваем, проверяем».

Редирект

Причина выпадения:

Перенаправление поискового робота на другой URL сайта.

Редирект используется для перенаправления поисковых роботов и посетителей на новый адрес. Наиболее популярными типами редиректов являются: 301 – постоянное перенаправление и 302 – временное перенаправление.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Если выпавший из индекса поисковых систем URL ошибочно перенаправляет пользователя, необходимо изменить ответ сервера на 200.

Подробнее о перенаправлении пользователей читайте в статье «301, 302 или 404? Что применять и в каких случаях?».

Неканоническая страница

Причина выпадения:

Наличие в коде атрибута rel=«canonical», указывающего как канонический другой адрес.

Как правило, канонический адрес указывается для ряда страниц с одинаковым либо схожим содержимым. Оптимизатор с помощью rel=«canonical» указывает для поисковых систем приоритетную для продвижения страницу, остальные могут быть исключены из поиска.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Ваша задача – выявить, корректно ли выбрал поисковый робот каноническую страницу. Если выпавшая из поиска страница должна быть в индексе поисковых систем, и атрибут rel=«canonical» размещён по ошибке, его необходимо удалить.

2. Проблемы с контентом

Дубли

Причина выпадения:

Наличие одинакового либо очень похожего контента на сайте.

Причиной возникновения дублей часто является CMS сайта, что приводит к ухудшению ранжирования в поиске. Поисковому роботу приходится тратить лишние ресурсы на обход адресов с идентичным контентом, при этом приоритетные страницы могут сканироваться значительно реже.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Настроить редирект либо канонический адрес. Также стоит выявить и устранить причину генерации дублированного контента на сайте.

Недостаточно качественные страницы

Причина выпадения:

Поисковый робот исключил страницу из поиска, потому что она недостаточно полно отвечает на запрос пользователя. К недостаточно качественным поисковые системы относят страницы без или с малым количеством контента.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Проведите анализ конкурентов по продвигаемой семантике. По итогу вы сможете выделить недостающие информационные блоки, отличия в наполнении контента, которые можно добавить на продвигаемый URL.

Подробнее читайте в статье «Страницы низкого качества или как понять, что твой сайт “не очень”».

Неуникальный контент

Причина выпадения:

Поисковые системы могут обнаружить, что на вашем сайте размещён скопированный с другого сайта контент, и исключить страницу из поиска. Также конкуренты могут украсть текст, размещённый на вашем сайте, и опубликовать на своём. В целом это может негативно отразиться на продвижении сайта. Яндекс и Google может отдать предпочтение сайту конкурентов с ворованным контентом, если он считается более трастовой площадкой.

Как исправить:

Если на вашем сайте размещён контент, скопированный с других ресурсов – необходимо заново переписать текст. Если конкуренты скопировали текст с вашего сайта – вы можете отправить жалобу на рассмотрение. Более надёжным будет запретить копирование текста.

3. Ограничения со стороны поисковых систем

Обманные методики

Причина выпадения:

Использование запрещённых поисковыми системами способов продвижения сайта.

К обманным методикам можно отнести:

• скрытая переадресация;
• схемы обмена ссылками;
• накрутка поведенческих факторов;
• последствия взлома сайта;
• назойливые рекламные блоки;
• продажа ссылок.

Поисковые системы, обнаружив на сайте использование неразрешённых способов повлиять на рейтинг в поиске, могут накладывать ограничения, вплоть до исключения сайта из индекса до 9 месяцев.

Пример отчёта:

Google Search Console

«Проблемы безопасности и меры, принятые вручную – Меры, принятые вручную»

Яндекс.Вебмастер

«Диагностика – Безопасность и нарушения»

Как исправить:

Отказаться от применения запрещённых для продвижения приёмов, написать в службу поддержки ПС и ждать снятия ограничений, применяемых к сайту.

О фильтрах Яндекса написали наши специалисты «6 актуальных типов фильтров Яндекса».

Еще по теме:

• Какими параметрами должен обладать донор для ссылок на биржах и аутрича?
Назовите ТОП-10 параметров, которыми должен обладать донор (по значимости от более значимого к менее) , при подборе внешних вечных ссылок на биржах и при поиске...
• По какой причине в Google Search Console появляется ошибка страница является копией?
Есть сайт по тематике гороскопов и астрологии. Возникла странная ситуация в GSC - страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают....
• Как правильно использовать название категории в заголовках товаров и можно ли получить пессимизацию листинга при этом?
Расскажите про вхождение названия категории в заголовок товара. Правильно его указывать или нет? Учитывает ли поисковая система его как остальной текстовый контент на странице? Можно...
• Коммерческие факторы ранжирования Яндекса. Как стать лучше конкурентов
Недавно обратили внимание, что тема коммерческих факторов ранжирования не достаточно раскрыта на нашем блоге и, разумеется, решили исправить это. Мы расскажем, что же такое коммерческие факторы, а...
• Как выявить смысловые дубли и избавиться от них
«На моем сайте только уникальные тексты». В чем же дело? Почему страницы выпадают из индекса, падают позиции, а релевантная страница, по мнению ПС, постоянно меняется?...