Почему Яндекс «не видит» мой сайт?

В понятие «не видит» может быть вложено разное поведение поисковика. В статье разберём, что делать, когда состояние сайта не оправдывает вложенные в него силы и средства.

• Исключаем технические причины
  • Проверьте robots.txt
  • Дубли
  • Некорректный ответ сервера
  • Запрещающие метатеги
  • HTTP-заголовоки X-Robots-Tag
  • Блокировка Yandex бота в .htaccess
• Несовершенства внутренней оптимизации
  • Фильтр
  • Наличие дублей
  • Неуникальный контент
  • Недостаточно полная внутренняя оптимизация страницы
  • Некорректные данные в сохранённой копии
• Новые сайты «не любит» Яндекс
• Выводы

Есть несколько ситуаций, которые люди описывают как «не видит».

Сайт совсем не индексируется поисковой системой. Проблема актуальна для новых сайтов и старых. Например, вы вносите изменения на страницы, но по прошествии нескольких текстовых апов Яндекса ситуация с позициями не меняется, а текстовая копия страницы в Яндексе остаётся прежней. Здесь нужно в первую очередь смотреть на технические ошибки. Далее в статье рассмотрим, на чём нужно сфокусировать внимание, чтобы исключить влияние технических факторов.

Более сложное решение и более сильные аналитические навыки нужны в ситуации, когда страницы нормально и регулярно индексируются, но позиции не улучшаются.

С таким могут сталкиваться и новые, и старые сайты. Проблема сохраняется, даже если на сайт постоянно вносятся изменения, проводится регулярная работа над контентом, дорабатывается и улучшается функционал, но Яндекс игнорирует ваши старания. Здесь нет точного рецепта, кроме комплексного анализа.

Отсутствует движение в позициях на протяжении нескольких месяцев. Для молодых сайтов это может быть большой проблемой, так как чаще всего только после 3–6-месячного периода активных работ НЧ запросы начнут занимать хотя бы ТОП-50.

Исключаем технические причины

В процессе поиска причин, почему Яндекс не ранжирует ваш сайт, нужно в первую очередь исключить проблему с индексированием.

Как убедиться в наличии/отсутствии страницы/сайта в индексе:

• нет результатов при проверке страницы/сайта через операторы поисковой системы «site:», «host:»;
• страница находится в списке исключённых документов в Яндекс.Вебмастере, в разделе «Страницы в поиске»;
• страницы нет в выдаче при поиске по куску текста.

Лучше использовать все методы в комплексе, чтобы убедиться, что страница действительно не в индексе.

Как бороться с проблемой:

Нужно исключить все технические препятствия для нормальной индексации.

Проверьте robots.txt

В файле может быть закрыт весь сайт/раздел/страница.

Примеры запрещающих директив:

User-agent: *

Disallow: / # закрыт сайт

Disallow: /products/ # закрыт раздел

Disallow: /diabet_plast.html # закрыта страница

Проверять файл на наличие правил, запрещающих индексирование, лучше через инструмент в Яндекс.Вебмастере «Анализ robots.txt».

На скриншоте ниже показан результат проверки страницы на предмет доступности роботам в файле robots.txt.

Дубли

Если проблема не с целым сайтом, а всего лишь с одним или несколькими его важными документами, то причина может крыться в наличии дублей. Часто у страницы может просто быть дубль – страница с таким же содержанием, которая либо автоматически создана несовершенствами админки, либо умышленно (но редко встречается).

Некорректный ответ сервера

Здесь речь даже не о стандартных случаях, когда у сайта проблемы с доступностью, то есть вы видите реальную 404-тую страницу, вместо главной, или частые уведомления о 5**-тых ошибках. А о том, что визуально сайт работает, но на самом деле сервер отдаёт 404-тый код поисковому роботу. Такие неочевидные ошибки можно выявить через инструмент «Проверка ответа сервера» в панели Яндекс.Вебмастера.

Запрещающие метатеги

Метатеги носят строгий характер для поисковых роботов, поэтому вам стоит тщательно проверить код неиндексируемых страниц на наличие таких конструкций:

<meta name="robots" content="noindex,follow" />
<meta name="robots" content="noindex,nofollow" />
<meta name="robots" content="noindex" />
<meta name="robots" content="none" />
<meta name="yandex" content="noindex,follow" />
<meta name="yandex" content="noindex,nofollow" />
<meta name="yandex" content="noindex" />

Проверять наличие запрета можно через плагин, например, SEO Meta in 1 Click

HTTP-заголовоки X-Robots-Tag

В http-ответах сервера могут передаваться запрещающие заголовки.

Существует масса инструментов для проверки ответа сервера и передаваемых в нём заголовков. Один из таких сервисов bertal.ru или тот же «Проверка ответа сервера» в панели для вебмастеров от Яндекса.

Блокировка Yandex бота в .htaccess

Здесь нужно проверять log-файлы сайта и анализировать, какие роботы посещают страницу. Как удобно анализировать log-файлы при помощи Power BI читайте в нашей статье.

Несовершенства внутренней оптимизации

Фильтр

Сайт зафильтрован: чаще всего он в индексе, но не получает ожидаемого трафика. Здесь нужно проверять предупреждения в разделе «Диагностика» – «Безопасность и нарушения».

Если фильтр автоматический, то уведомлений в Вебмастере не будет. Выявить его можно только примерно. Определить, наложен ли фильтр, может помочь наш цикл статей.

Наличие дублей

Одинаково вероятная причина плохого ранжирования как для новых, так и для старых сайтов. Наличие дублей в целом негативно влияет на оценку сайта поисковиком, путает робота, который вынужден выбирать среди нескольких документов наиболее релевантный.

Проверить наличие технических дублей можно при помощи парсинга.

Выбирайте удобный для себя парсер при помощи нашей обзорной статьи «Обзор ТОП-6 парсеров сайтов».

Увидеть проблему с дублями можно в разделе «Страницы в поиске» – «Исключённые страницы» – фильтр «Дубли».

Неуникальный контент

Проблема с позициями может возникать, если ваш сайт повторяет контент других сайтов. Когда информационный ресурс не содержит добавочной ценности и намерен просто занимать место на серверах поисковиков, то у Яндекса нет оснований предоставлять ему место в ТОПах. Подробнее о ценности уникального контента для поисковых систем в статье.

Недостаточно полная внутренняя оптимизация страницы

Внутренняя оптимизация включает в себя в первую очередь работу с количеством и характером запросов на странице.
Здесь работа должна вестись без отрыва от анализа конкурентов по выдаче.

Как выбрать конкурентов узнайте из нашей статьи – «Как найти новые точки роста поискового трафика».

После вычисления конкурентов проведите сравнительный анализ полноты внутренней оптимизации своего сайта с конкурентами.

Внимание обращайте на такие основные элементы, задающие релевантность документа: Title, H1, анкоры внутренних ссылок, Alt-текст. Сравните, насколько полно оптимизированы ваши страницы, нет ли переспама.

Особое внимание стоит уделить seo-текстам на категориях интернет-магазинов:

• Во-первых, есть ли в них необходимость – здесь ответит анализ конкурентов из ТОПа.
• Во-вторых, насколько полезным является текст для пользователя. Здесь нужно прочитать текст и оценить, потеряет ли страница смысл, если текст удалить?
• В-третьих, естественно ли внедрены ключи в текст.

Пример спамного текста, который приводит к Бадену:

Помните, что в случае с Яндексом – от seo-текста лучше отказаться. В случае в Google – лучше согласиться на него (если он есть у конкурентов).

Некорректные данные в сохранённой копии

Проблемное ранжирование сайта может быть обусловлено тем, что поисковик не видит какой-то контент, который виден пользователю. Либо, наоборот, может содержать избыточный, дублирующийся контент.

Поэтому проверяйте сохранённую копию страницы, особенно её текстовый вариант.

На примере ниже страница, текст которой открывается через кнопку «Подробнее».

А вот как эта же страница выглядит в текстовой сохранёнке Яндекса.

То есть полный вариант текста показывается роботу дважды.

Новые сайты «не любит» Яндекс

Среди сеошного сообщества последние полгода ходит слух об аналоге «Песочницы» для новых сайтов. Суть в том, что новые сайты не ранжируются Яндексом. Что такое «не ранжируются» – не находятся даже в ТОП-500 тематики со слабой конкуренцией.

Для примера. Сайт был оптимизирован по технической части, внутренней и велись работы по внешней. Всё это не давало результата на протяжении 3 месяцев. Яндекс упорно не ранжировал сайт более чем по 200 целевым ключам.

Первые результаты появились только в середине сентября при том, что для индексации сайт был открыт ещё в июле.

То есть путь нашего целевого сайта к первым ТОПовым позициям составлял всего лишь три месяца. Но есть случаи, когда Яндекс пускает в первую десятку новые сайты только после шести месяцев. Здесь остаётся только запастись терпением и работать над комплексом факторов – внутренние, внешние, коммерческие и поведенческие. Последние особенно важны, если Яндекс использует свой алгоритм Многорукий бандит для вашего сайта.

Такая история возможна и для информационных ресурсов, и для коммерческих. В нашем примере был сайт услуг.

Выводы

Что делать, если Яндекс упорно игнорирует ваши работы над сайтом? Выжимка рекомендаций для владельцев сайтов:

1. Новый сайт не индексируется – проверьте технические запреты на индексирование.
2. Новый сайт индексируется, но несколько месяцев не заходит в ТОП-100 Яндекса – проведите более глубокий анализ на технические дубли, полноту внутренней оптимизации. Перед запуском сайта рекомендуем проверить его с помощью «SEO чек-лист: что проверять перед запуском сайта?».
3. Сайт с историей не индексируется – обновляйте контент, отправляйте на принудительную переиндексацию страницы.
4. Сайт с историей не занимает желаемые позиции – смотреть пункт 2. Нужно также проверять полноту внутренней оптимизации посадочных страниц.

Еще по теме:

• Как Google обрабатывает скрытый текст CSS + Javascript?
Перевод статьи зарубежного SEO-эксперта Ренда Фишкина. Источник: MOZ. Многие задаются вопросом: как же поисковые системы оценивают текст, спрятанный за ссылкой «Читать далее»? Как распределять ключевые...
• Дубли страниц. Чем опасны? Как найти и удалить?
Поисковые алгоритмы постоянно развиваются, часто уже сами могут определить дубли страницы и не включать такие документы в основной поиск. Тем не менее, проводя экспертизы сайтов, мы...
• Как создать убийственный контент: построение карты ключевых слов
Сегодня мы подготовили перевод выпуска «Пятничной интерактивной доски» (Whiteboard Friday, Блог Moz) от известного западного SEO-специалиста Рэнда Фишкина, где он демонстрирует простой и удобный способ построения эффективной связи контента...
• Игры сниппетов: как попасть в блок ответов Google
Мы продолжаем знакомить вас c SEO-техниками, которые используют наши зарубежные коллеги. В сегодняшнем выпуске – перевод статьи Ларри Кима о том, как отвоевать место в...
• Как правильно реализовать динамический текст в теге Н1, чтобы он был доступен для индексации?
Динамический текст в h1. Как правильно с точки зрения SEO реализовать появляющийся с помощью js текст (анимация печати), ведь для поисковых роботов текст не виден?...