Причины выпадения страниц из индекса поисковых систем

Сегодня мы рассмотрим основные причины проблем с индексацией и выпадения страниц из индекса Яндекса и Google. В статье мы покажем, на что обращать внимание, если вы внезапно обнаружите отсутствие ключевых для продвижения страниц в поиске.

1. Технические причины
2. Проблемы с контентом
3. Ограничения со стороны поисковых систем

Исключённые из поиска страницы можно найти в Яндекс.Вебмастере и Google Search Console:

• Алгоритм для Яндекс.Вебмастера: «Индексирование – Страницы в поиске – Исключённые страницы».

• Алгоритм для Google Search Console: «Индекс – Покрытие – Исключено».

Яндекс в своей справке подробно описывает причины, по которым страницы сайта могут быть исключены из индекса поисковой системы.

Google также приводит перечень причин выпадения из поиска.

1. Технические причины

Некорректный ответ сервера

Причина выпадения:

Страницы с кодом ответа 4ХХ либо 5ХХ не могут быть внесены в поисковую базу.

4ХХ ответ сервера применяется для случаев, когда существует ошибка на стороне клиента. Часто посетители могут обращаться к несуществующим адресам, либо когда URL удалён.

5ХХ ошибки говорят о сбое в работе сервера.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Необходимо проверить корректность ответа сервера целевого URL. Для этого в Яндекс.Вебмастере выбираем: «Инструменты – Проверка ответа сервера».

Если страница выпала из индекса и должна приносить трафик либо содержит полезные для сайта внешние сигналы, её нужно восстановить.

Запрет индексирования в файле robots.txt или метатеге noindex

Причина выпадения:

• наличие в robots.txt инструкций для поискового робота, запрещающих сканирование страниц/разделов на сайте;
• метатег с директивой noindex в коде выпавших из индекса страниц.

Файл robots.txt предназначен для указания рекомендаций по сканированию сайта для поисковых систем. Владельцы сайтов с помощью этого файла часто могут запрещать сканирование важных для продвижения сайтов.

Директива noindex говорит поисковым краулерам, что данную страницу не стоит включать в индекс поисковой системы.

Пример отчёта:

Яндекс.Вебмастер

Яндекс.Вебмастер

Как исправить:

• удалить из файла robots.txt лишние директивы, которые запрещают сканировать исключённые страницы/разделы сайта;
• метатег noindex необходимо удалить из кода.

После этого необходимо отправить страницу на переобход.

Яндекс.Вебмастер: «Индексирование – Переобход страниц – вводим URL – Отправить».

Google Search Console: в строку поиска вводим адрес страницы – нажимаем Enter – «Запросить индексирование».

Всё о файле robots.txt описано в статье «Гайд по robots.txt: создаём, настраиваем, проверяем».

Редирект

Причина выпадения:

Перенаправление поискового робота на другой URL сайта.

Редирект используется для перенаправления поисковых роботов и посетителей на новый адрес. Наиболее популярными типами редиректов являются: 301 – постоянное перенаправление и 302 – временное перенаправление.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Если выпавший из индекса поисковых систем URL ошибочно перенаправляет пользователя, необходимо изменить ответ сервера на 200.

Подробнее о перенаправлении пользователей читайте в статье «301, 302 или 404? Что применять и в каких случаях?».

Неканоническая страница

Причина выпадения:

Наличие в коде атрибута rel=«canonical», указывающего как канонический другой адрес.

Как правило, канонический адрес указывается для ряда страниц с одинаковым либо схожим содержимым. Оптимизатор с помощью rel=«canonical» указывает для поисковых систем приоритетную для продвижения страницу, остальные могут быть исключены из поиска.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Ваша задача – выявить, корректно ли выбрал поисковый робот каноническую страницу. Если выпавшая из поиска страница должна быть в индексе поисковых систем, и атрибут rel=«canonical» размещён по ошибке, его необходимо удалить.

2. Проблемы с контентом

Дубли

Причина выпадения:

Наличие одинакового либо очень похожего контента на сайте.

Причиной возникновения дублей часто является CMS сайта, что приводит к ухудшению ранжирования в поиске. Поисковому роботу приходится тратить лишние ресурсы на обход адресов с идентичным контентом, при этом приоритетные страницы могут сканироваться значительно реже.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Настроить редирект либо канонический адрес. Также стоит выявить и устранить причину генерации дублированного контента на сайте.

Недостаточно качественные страницы

Причина выпадения:

Поисковый робот исключил страницу из поиска, потому что она недостаточно полно отвечает на запрос пользователя. К недостаточно качественным поисковые системы относят страницы без или с малым количеством контента.

Пример отчёта:

Google Search Console

Яндекс.Вебмастер

Как исправить:

Проведите анализ конкурентов по продвигаемой семантике. По итогу вы сможете выделить недостающие информационные блоки, отличия в наполнении контента, которые можно добавить на продвигаемый URL.

Подробнее читайте в статье «Страницы низкого качества или как понять, что твой сайт “не очень”».

Неуникальный контент

Причина выпадения:

Поисковые системы могут обнаружить, что на вашем сайте размещён скопированный с другого сайта контент, и исключить страницу из поиска. Также конкуренты могут украсть текст, размещённый на вашем сайте, и опубликовать на своём. В целом это может негативно отразиться на продвижении сайта. Яндекс и Google может отдать предпочтение сайту конкурентов с ворованным контентом, если он считается более трастовой площадкой.

Как исправить:

Если на вашем сайте размещён контент, скопированный с других ресурсов – необходимо заново переписать текст. Если конкуренты скопировали текст с вашего сайта – вы можете отправить жалобу на рассмотрение. Более надёжным будет запретить копирование текста.

3. Ограничения со стороны поисковых систем

Обманные методики

Причина выпадения:

Использование запрещённых поисковыми системами способов продвижения сайта.

К обманным методикам можно отнести:

• скрытая переадресация;
• схемы обмена ссылками;
• накрутка поведенческих факторов;
• последствия взлома сайта;
• назойливые рекламные блоки;
• продажа ссылок.

Поисковые системы, обнаружив на сайте использование неразрешённых способов повлиять на рейтинг в поиске, могут накладывать ограничения, вплоть до исключения сайта из индекса до 9 месяцев.

Пример отчёта:

Google Search Console

«Проблемы безопасности и меры, принятые вручную – Меры, принятые вручную»

Яндекс.Вебмастер

«Диагностика – Безопасность и нарушения»

Как исправить:

Отказаться от применения запрещённых для продвижения приёмов, написать в службу поддержки ПС и ждать снятия ограничений, применяемых к сайту.

О фильтрах Яндекса написали наши специалисты «6 актуальных типов фильтров Яндекса».

Еще по теме:

• Как повысить CTR сайта в Google
Чем ближе к ТОПу, тем лучше CTR Работаем с Title и Description Используем призывы к действию Специальные предложения Используем эмодзи Используем микроразметку для сайта Хлебные...
• Коммерческие факторы ранжирования Яндекса. Как стать лучше конкурентов
Недавно обратили внимание, что тема коммерческих факторов ранжирования не достаточно раскрыта на нашем блоге и, разумеется, решили исправить это. Мы расскажем, что же такое коммерческие факторы, а...
• Настройка отслеживания 404 ошибок с помощью Google Tag Manager
В этой статье мы рассмотрим, как с помощью GTM легко настроить отслеживание переходов на несуществующие страницы вашего сайта. Прежде чем приступить к настройке отслеживания 404...
• Турбо-страницы Яндекса: зачем нужны, как создать и подключить
22 ноября 2017 года Яндекс объявил о запуске Турбо-страниц в своём блоге. С тех пор прошло полгода, и я решил собрать всю актуальную информацию о них....
• Улучшение внутренней оптимизации с помощью конкурентов
Анализ конкурентов - важный этап при продвижении сайтов. В этой статье я покажу, какую полезную информацию можно извлечь у конкурентов для улучшения внутренней оптимизации своего сайта. В интернете достаточно много написано...