Заказать SEO-услуги
Согласен с правилами обработки персональных данных
Скорость ответа - до 30 минут!

Почему Яндекс «не видит» мой сайт?

  • 9 минут
  • Решение проблемы
like 0

В понятие «не видит» может быть вложено разное поведение поисковика. В статье разберём, что делать, когда состояние сайта не оправдывает вложенные в него силы и средства.

Есть несколько ситуаций, которые люди описывают как «не видит».

Сайт совсем не индексируется поисковой системой. Проблема актуальна для новых сайтов и старых. Например, вы вносите изменения на страницы, но по прошествии нескольких текстовых апов Яндекса ситуация с позициями не меняется, а текстовая копия страницы в Яндексе остаётся прежней. Здесь нужно в первую очередь смотреть на технические ошибки. Далее в статье рассмотрим, на чём нужно сфокусировать внимание, чтобы исключить влияние технических факторов.

Более сложное решение и более сильные аналитические навыки нужны в ситуации, когда страницы нормально и регулярно индексируются, но позиции не улучшаются.

С таким могут сталкиваться и новые, и старые сайты. Проблема сохраняется, даже если на сайт постоянно вносятся изменения, проводится регулярная работа над контентом, дорабатывается и улучшается функционал, но Яндекс игнорирует ваши старания. Здесь нет точного рецепта, кроме комплексного анализа.

Отсутствует движение в позициях на протяжении нескольких месяцев. Для молодых сайтов это может быть большой проблемой, так как чаще всего только после 3–6-месячного периода активных работ НЧ запросы начнут занимать хотя бы ТОП-50.

Исключаем технические причины

В процессе поиска причин, почему Яндекс не ранжирует ваш сайт, нужно в первую очередь исключить проблему с индексированием.

Как убедиться в наличии/отсутствии страницы/сайта в индексе:

  • нет результатов при проверке страницы/сайта через операторы поисковой системы «site:», «host:»;
  • страница находится в списке исключённых документов в Яндекс.Вебмастере, в разделе «Страницы в поиске»;
  • страницы нет в выдаче при поиске по куску текста.

Лучше использовать все методы в комплексе, чтобы убедиться, что страница действительно не в индексе.

Как бороться с проблемой:

Нужно исключить все технические препятствия для нормальной индексации.

Проверьте robots.txt

В файле может быть закрыт весь сайт/раздел/страница.

Примеры запрещающих директив:

User-agent: *

Disallow: / # закрыт сайт

Disallow: /products/ # закрыт раздел

Disallow: /diabet_plast.html # закрыта страница

Проверять файл на наличие правил, запрещающих индексирование, лучше через инструмент в Яндекс.Вебмастере «Анализ robots.txt».

На скриншоте ниже показан результат проверки страницы на предмет доступности роботам в файле robots.txt.

Проверка файла robots.txt в Яндекс Вебмастере

Дубли

Если проблема не с целым сайтом, а всего лишь с одним или несколькими его важными документами, то причина может крыться в наличии дублей. Часто у страницы может просто быть дубль – страница с таким же содержанием, которая либо автоматически создана несовершенствами админки, либо умышленно (но редко встречается).

Некорректный ответ сервера

Здесь речь даже не о стандартных случаях, когда у сайта проблемы с доступностью, то есть вы видите реальную 404-тую страницу, вместо главной, или частые уведомления о 5**-тых ошибках. А о том, что визуально сайт работает, но на самом деле сервер отдаёт 404-тый код поисковому роботу. Такие неочевидные ошибки можно выявить через инструмент «Проверка ответа сервера» в панели Яндекс.Вебмастера.

Проверка ответа сервера инструмент

Запрещающие метатеги

Метатеги носят строгий характер для поисковых роботов, поэтому вам стоит тщательно проверить код неиндексируемых страниц на наличие таких конструкций:

<meta name="robots" content="noindex,follow" />
<meta name="robots" content="noindex,nofollow" />
<meta name="robots" content="noindex" />
<meta name="robots" content="none" />
<meta name="yandex" content="noindex,follow" />
<meta name="yandex" content="noindex,nofollow" />
<meta name="yandex" content="noindex" />

Проверять наличие запрета можно через плагин, например, SEO Meta in 1 Click

Метатег noindex

HTTP-заголовоки X-Robots-Tag

В http-ответах сервера могут передаваться запрещающие заголовки.

Проверка X-tag robots

Существует масса инструментов для проверки ответа сервера и передаваемых в нём заголовков. Один из таких сервисов bertal.ru или тот же «Проверка ответа сервера» в панели для вебмастеров от Яндекса.

Проверка ответа сервера в Яндекс Вебмастере

Блокировка Yandex бота в .htaccess

Здесь нужно проверять log-файлы сайта и анализировать, какие роботы посещают страницу. Как удобно анализировать log-файлы при помощи Power BI читайте в нашей статье.

Несовершенства внутренней оптимизации

Фильтр

Сайт зафильтрован: чаще всего он в индексе, но не получает ожидаемого трафика. Здесь нужно проверять предупреждения в разделе «Диагностика» – «Безопасность и нарушения».

Если фильтр автоматический, то уведомлений в Вебмастере не будет. Выявить его можно только примерно. Определить, наложен ли фильтр, может помочь наш цикл статей.

Наличие дублей

Одинаково вероятная причина плохого ранжирования как для новых, так и для старых сайтов. Наличие дублей в целом негативно влияет на оценку сайта поисковиком, путает робота, который вынужден выбирать среди нескольких документов наиболее релевантный.

Проверить наличие технических дублей можно при помощи парсинга.

Дубли заголовков Title

Выбирайте удобный для себя парсер при помощи нашей обзорной статьи «Обзор ТОП-6 парсеров сайтов».

Увидеть проблему с дублями можно в разделе «Страницы в поиске» – «Исключённые страницы» – фильтр «Дубли».

Дубли в Яндекс Вебмастере

Неуникальный контент

Проблема с позициями может возникать, если ваш сайт повторяет контент других сайтов. Когда информационный ресурс не содержит добавочной ценности и намерен просто занимать место на серверах поисковиков, то у Яндекса нет оснований предоставлять ему место в ТОПах. Подробнее о ценности уникального контента для поисковых систем в статье.

Недостаточно полная внутренняя оптимизация страницы

Внутренняя оптимизация включает в себя в первую очередь работу с количеством и характером запросов на странице.
Здесь работа должна вестись без отрыва от анализа конкурентов по выдаче.

Как выбрать конкурентов узнайте из нашей статьи – «Как найти новые точки роста поискового трафика».

После вычисления конкурентов проведите сравнительный анализ полноты внутренней оптимизации своего сайта с конкурентами.

Внимание обращайте на такие основные элементы, задающие релевантность документа: Title, H1, анкоры внутренних ссылок, Alt-текст. Сравните, насколько полно оптимизированы ваши страницы, нет ли переспама.

Особое внимание стоит уделить seo-текстам на категориях интернет-магазинов:

  • Во-первых, есть ли в них необходимость – здесь ответит анализ конкурентов из ТОПа.
  • Во-вторых, насколько полезным является текст для пользователя. Здесь нужно прочитать текст и оценить, потеряет ли страница смысл, если текст удалить?
  • В-третьих, естественно ли внедрены ключи в текст.

Пример спамного текста, который приводит к Бадену:

Фильтр Баден-Баден

Помните, что в случае с Яндексом – от seo-текста лучше отказаться. В случае в Google – лучше согласиться на него (если он есть у конкурентов).

Некорректные данные в сохранённой копии

Проблемное ранжирование сайта может быть обусловлено тем, что поисковик не видит какой-то контент, который виден пользователю. Либо, наоборот, может содержать избыточный, дублирующийся контент.

Поэтому проверяйте сохранённую копию страницы, особенно её текстовый вариант.

На примере ниже страница, текст которой открывается через кнопку «Подробнее».

Текст

А вот как эта же страница выглядит в текстовой сохранёнке Яндекса.

Сохранённая копия страницы в Google

То есть полный вариант текста показывается роботу дважды.

Новые сайты «не любит» Яндекс

Среди сеошного сообщества последние полгода ходит слух об аналоге «Песочницы» для новых сайтов. Суть в том, что новые сайты не ранжируются Яндексом. Что такое «не ранжируются» – не находятся даже в ТОП-500 тематики со слабой конкуренцией.

Для примера. Сайт был оптимизирован по технической части, внутренней и велись работы по внешней. Всё это не давало результата на протяжении 3 месяцев. Яндекс упорно не ранжировал сайт более чем по 200 целевым ключам.

Первые результаты появились только в середине сентября при том, что для индексации сайт был открыт ещё в июле.

Результаты в виде позиций

То есть путь нашего целевого сайта к первым ТОПовым позициям составлял всего лишь три месяца. Но есть случаи, когда Яндекс пускает в первую десятку новые сайты только после шести месяцев. Здесь остаётся только запастись терпением и работать над комплексом факторов – внутренние, внешние, коммерческие и поведенческие. Последние особенно важны, если Яндекс использует свой алгоритм Многорукий бандит для вашего сайта.

Такая история возможна и для информационных ресурсов, и для коммерческих. В нашем примере был сайт услуг.

Выводы

Что делать, если Яндекс упорно игнорирует ваши работы над сайтом? Выжимка рекомендаций для владельцев сайтов:

  1. Новый сайт не индексируется – проверьте технические запреты на индексирование.
  2. Новый сайт индексируется, но несколько месяцев не заходит в ТОП-100 Яндекса – проведите более глубокий анализ на технические дубли, полноту внутренней оптимизации. Перед запуском сайта рекомендуем проверить его с помощью «SEO чек-лист: что проверять перед запуском сайта?».
  3. Сайт с историей не индексируется – обновляйте контент, отправляйте на принудительную переиндексацию страницы.
  4. Сайт с историей не занимает желаемые позиции – смотреть пункт 2. Нужно также проверять полноту внутренней оптимизации посадочных страниц.

Если у Вас возникли проблемы с индексацией в Яндексе, обращайтесь к нам!

Заказать лечение сайта

Подписаться на рассылку

Еще по теме:


Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

Оцените мою статью: 

1 Star2 Stars3 Stars4 Stars5 Stars (8 оценок, среднее: 5,00 из 5)

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Наверх
  • Достойная статья! Но песочницы нет в Яндексе точно. Новые сайты, сделанные по нормальному SEO-ТЗ, заходят в ТОП по НЧ-СЧ (иногда и по нескольким ВЧ) в течение 2-4 недель после запуска и присвоения региона.