Распространённые технические ошибки сайтов

Из статьи вы узнаете, какие технические ошибки всё ещё встречаются на сайтах, и что делать с ними при обнаружении.

• Ошибки из отчётов Google Search Console
• Ошибки при сканировании отправленного URL
• Ошибка переадресации
• Страница, связанная с отправленным URL, содержит тег noindex
• Отправленный URL возвращает ложную ошибку 404
• Доступ к отправленному URL заблокирован в файле robots.txt
• Ошибки в Яндекс.Вебмастере
• Недостаточно качественные страницы
• Дубли
• Ошибка HTTP: 404
• Неканонические страницы
• Не удалось скачать страницу
• Редиректы
• Дубль текста на страницах пагинации
• Отсутствие Alt и Title у изображений

Жить с техническими ошибками можно, но есть несколько «непростительных» ошибок, которые отдаляют сайт от ТОПа, а значит и от органического трафика. В статье будут приведены наиболее популярные ошибки технического плана, расположенные по мере их влияния на видимость. Начнем с наиболее непростительных.

Google, так как с каждым годом этот поисковик становится всё популярнее среди обычных пользователей и наиболее интересным источником трафика для веб-мастеров, работающих с русскоязычным сегментом.

Ошибки из отчётов Google Search Console

Старайтесь исправить все указанные в панели ошибки. Ниже приведем наиболее значимые для трафика.

Ошибки при сканировании отправленного URL

Проблемы со сканированием сайта могут возникать по разным причинам: особенности настройки CMS, некорректная отработка DNS, запрещающие сканирование заголовки и теги. Возникают такие ошибки с адресами, отправленными на принудительную индексацию.

Пример ошибки:

Инструмент проверки URL не поможет выяснить причину. Пример результата проверки:

Выяснить, что случилось со страницей, и почему Google отказывается её сканировать, можно через обычную проверку статуса URL. Также нужно проверить, как отвечает сервер. Если никаких проблем не выявлено, то попытайтесь отправить страницу на повторную индексацию.

Ошибка переадресации

Чаще всего такая ошибка возникает со слишком длинной цепочкой редиректов либо некорректным форматом URL.

Пример ошибки:

Как исправить:

Устраните по возможности все лишние звенья в цепочках, приведите URL к корректному формату. Например, проблема с переадресациями возникает при сканировании адресов, сформированных не только из латинского алфавита, а из всех символов, которые были использованы в контентном заголовке.

Что делать:

• Если страницы важны для сбора трафика, то настройте переадресацию.
• Если они сгенерированы случайно и не смогут в будущем привлекать трафик, то избавьтесь от них настройкой 410 кода.

Заботьтесь о корректном формировании URL ещё на начальном этапе создания сайта.

Страница, связанная с отправленным URL, содержит тег noindex

Это одна из причин возникновения проблем со сканированием.

Пример ошибки:

Как можно понять из названия, такая проблема возникает из-за запрета для сканирования метатегом либо заголовком в ответе сервера. Убедиться в этом можно, проверив код страницы либо ответ сервера. Часто ошибка остаётся даже после удаления noindex. Это значит, что консоль всё ещё не обновилась, остаётся только ждать. Немного ускорить процесс обнаружения ваших изменений может помочь отправка страниц на переиндексацию.

Отправленный URL возвращает ложную ошибку 404

Это одна из наиболее загадочных ошибок, ведь она никак не связана с настройкой кода ответа сервера, хотя её название говорит об обратном.

Причины возникновения:

• страница пустая или на ней мало контента;
• пользователь видит заглушку 404-й страницы, но ответ сервера 200 OK;
• страница рабочая и содержит достаточное количество контента, но её контент в большой степени формируется за счёт скриптов и стилей, которые не работают, либо доступ к ним закрыт через robots.txt

Пример отчёта:

Если вы обнаружили такой отчёт в консоли:

• проверьте корректность серверного ответа (особенно через User-agent робота Google);
• проверьте, как контент страницы видит Google через инструмент проверки URL.

Доступ к отправленному URL заблокирован в файле robots.txt

Такая ошибка либо уведомление поисковой системы появляется, когда страница, которую вы скрыли от роботов, на самом деле проиндексирована. Поисковая система старается следовать правилам robots.txt. Но робот может проигнорировать их, если ссылка на вашу страницу часто встречается на других сайтах.

Пример уведомления о закрытых от индексирования страниц:

Что делать:

Воспользуйтесь более надёжным способом запрета: настройте метатег либо настройте ответ сервера, содержащий X-Robots-Tag: noindex.

Ошибки в Яндекс.Вебмастере

Панель для вебмастеров от Яндекса значительно более информативна. Следить за ее предупреждениями и ошибками нужно особенно тщательно.

Недостаточно качественные страницы

Такой статус имеют документы, не имеющие ценности «по оценке Яндекса» и поэтому не достойные участвовать в ранжировании.

Искать их стоит в панели «Яндекс.Вебмастер – Индексирование – Страницы в поиске – Исключённые – фильтр Недостаточно качественные».

Пример отчёта, где в список недостаточно качественных попадают страницы-дубли с get-параметрами:

Частая ситуация, когда по причине некачественности исключается технический файл.

Пример исключения из поиска robots.txt:

Причины определения страниц в список исключённых чаще всего технические.

Дубли

Страницы с одинаковым контентом, но с разными URL. При этом поисковик выбирает другую страницу (чаще всего с коротким url-адресом) для отображения:

Избавиться от таких страниц лучше через рекомендованные самим Яндексом способы: настроить редирект либо канонический адрес. Со временем (после исправления) отчёты об ошибках такого типа перестанут отображаться в панели.

Ошибка HTTP: 404

Ошибка говорит сама за себя. Здесь Яндекс отчитывается о том, что нашёл неработающую страницу на сайте.

Пример отчёта:

Такие страницы нужно восстановить, особенно если они приносили трафик, либо на них есть важные обратные ссылки. Если восстановление невозможно, то следует настроить 301 редирект на похожую по смыслу страницу. Часто если речь идёт об удалении 404-х товарных карточек, веб-мастера настраивают перенаправление на главную страницу сайта либо на категорию. Такая стратегия имеет место быть, но она может также стать причиной образования отчёта Soft 404 в консоли Google.

Попадать в отчёт может и техническая страница:

Неканонические страницы

Страницы, которые содержат одинаковый либо частично похожий основной контент, могут объединяться в одну группу. Из этой группы веб-мастер определяет основную страницу и прописывает её в атрибуте rel=canonical. Менее важные страницы группы могут быть исключены из поиска.

Пример отчёта:

Что делать с такими страницами:

Убедитесь, что каноническая страница действительно верно определена в отчёте, и исключены второстепенные.

Не удалось скачать страницу

В отчёте приводятся ссылки на документы, которые на момент посещения роботом не были доступны либо их сканирование запрещено.

Пример отчёта:

Как поступать с ними:

Проверьте ответ сервера (код и заголовки), также запрещающие метатеги для индексирования и сканирования страниц.

Исключённые страницы в GSC чаще всего имеют такую же природу, как исключённые документы в Яндексе. Большую часть таких страниц обычно составляют зомби-страницы.

Это наиболее частые ошибки технического плана, которые всё ещё фиксируются к панели Яндекса. Не игнорируйте их, особенно если на вашем проекте ожидается органический трафик из Яндекса.

Редиректы

1. Обилие редиректов.

Сами по себе редиректы, конечно, не являются ошибкой, но когда их слишком много, то для сканирующего бота создаётся дополнительная нагрузка.

Что делать в таком случае:

• просканируйте сайт десктопными краулерами (обзоры краулеров в нашей статье);
• определите документы с 30* ответом;
• определите страницы-источники;
• замените страницы с 30* ответом на ныне актуальные страницы (цели редиректа).

2. Использование 302 ответа вместо 301.

301 ответ говорит сканирующему боту, что контент сменил адрес навсегда. 302 код значит, что контент временно сменил URL. Уместно настраивать 302 редирект, если страницы временно недоступны по старым адресам. Например, если на сайте/его разделе ведутся технические работы. Увидев 302 ответ сервера, бот будет возвращаться к URL при следующих сканированиях. Таким образом, сканирующему роботу нужно всегда проверять состояние страницы, а это зря расходует краулинговый бюджет.

Панели поисковых систем – это информативный источник данных о состоянии сайта, и пользоваться ими нужно обязательно, если вы ищете причины, по которым поиск всё ещё не жалует сайт. Но кроме перечисленного в аудитах, особенно крупных сайтов, мы наблюдаем ряд других ошибок, которые в консоли и Вебмастере не отображаются.

Дубль текста на страницах пагинации

Сегодня страницы пагинации принято открывать для индексирования. Особенно когда речь идёт об интернет-магазине, где наличие seo-текста и так сомнительное. Его повторение на страницах пагинации – грубая ошибка.

Отсутствие Alt и Title у изображений

Атрибуты изображений – это дополнительная возможность усилить релевантность страницы. Содержание Alt и Title желательно не дублировать. И обязательно заполнять их ключевыми словами. На содержание Alt сканирующий робот поисковой системы будет опираться, чтобы понять, что отображено на картинке. К альтернативному тексту следует относиться как к анкору. У Title изображения функций меньше, но его тоже не рекомендуется игнорировать.

Как проверить, есть ли Alt у вашей страницы:

• проверить код страницы вручную;
• просканировать сайт/страницу парсером, чтобы получить список всех изображений без Alt;
• активировать на странице закладку;
• использовать старый добрый https://validator.w3.org/.

Значок «image report» показывает данные об изображениях.

Под привычным нам отчётом об ошибках и предупреждениях html располагается отчёт обо всех найденных картинках и их альтернативном тексте.

Еще по теме:

• Error 404 — что значит, как найти и исправить ошибку
В этой статье мы разберём, что такое 404 ошибка, когда и каким образом она может навредить и как её отследить, а также приведём перечень рекомендаций...
• Обзор CMS-систем. Мощный, гибкий, безопасный Drupal
Мы продолжаем наш цикл статей, посвященных описанию самых интересных CMS. Сегодня мы с Вами поговорим о DRUPAL. Для каких задач стоит её выбирать, главные особенности...
• Можно ли в мобильной версии применять display none для скрытия дубля меню?
На сайте есть главное меню товаров, я скопировал его для мобильной версии. Мобильное меню я спрятал под медиа запрос display: none, просто главное меню слишком...
• SEO чек-лист: что проверять перед запуском сайта?
1. Что проверить перед запуском сайта 1.1. Основные моменты 1.2. Технические аспекты 2. За чем следить после запуска сайта 2.1. Поведенческие факторы 2.2. Наличие фильтров...
• Как блокировка отображения сайта в iframe на сторонних ресурсах влияет на ранжирование сайта?
Веб-мастера сделали блокировку отображения сайта в iframe на сторонних ресурсах. После чего видимость немного ухудшилась. Вопрос: влияет ли такой запрет на ранжирование сайта? Ответ Напрямую...