Заказать SEO-услуги
Согласен с правилами обработки персональных данных
Скорость ответа - до 30 минут!

Чек-лист по внутренней оптимизации сайта: 18 контрольных пунктов, обязательных к выполнению

  • (Обновлено: )
  • 12 минут
  • Мануал
like 6
1
5

Чтобы провести самостоятельный аудит сайта, следуйте перечисленным ниже пунктам. В статье мы описали основные моменты, которые должны быть проверены на сайте перед продвижением или запуском.

Техническая оптимизация

  1. Проверка robots.txt
  2. Карта сайта
  3. Цепочки редиректов
  4. Проверка наличия 404-той ошибки
  5. Зеркала сайта
  6. Проверка технических дублей
  7. Проверка пагинации
  8. Микроразметка
  9. Проверка сохранённой копии страницы
  10. Проверка скорости загрузки
  11. Проверка ЧПУ адресов
  12. Сайт адаптирован для мобильных устройств
  13. Индексирование

Внутренняя оптимизация

  1.  Уникальность содержания
  2. Наличие пустых страниц
  3. Оптимизация Title
  4. Оптимизация метатега Description
  5. Проверка текстового контента

Техническая оптимизация

Любой анализ начинается с парсинга. Глубокий анализ сразу покажет проблемы: например, сколько страниц удалено, возможно, среди них есть важные страницы, собирающие трафик. Анализ парсером продемонстрирует, сколько страниц может быть проиндексировано, а какая доля URL закрыта неожиданным noindex или в файле robots.txt. Подробнее про инструменты парсинга: «Обзор ТОП-6 парсеров сайтов».

1. Проверка robots.txt

Традиционно начинаем с проверки robots.txt – файл с рекомендациями для поисковиков об индексировании содержимого. Правила файла могут быть учтены или проигнорированы роботами.

Что должно быть закрыто правилом Disallow:

  • Проверить закрытие от индексации страниц входа в CMS («/bitrix», «/login», «/admin», «/administrator», «/wp-admin»).
  • Проверить закрытие страниц с индикаторами сессий.
  • Технические страницы – авторизации, смены пароля, оформления заказа.
  • Результаты внутреннего поиска по сайту.
  • Версии страниц для печати.
  • Закрытие страниц с дублированным контентом, rss, feed.

Что не нужно закрывать:

  • Весь сайт.
  • Часть сайта.
  • Отдельные страницы с контентом.
  • Карточки товаров.
  • Служебные страницы: Контакты, Доставка, Оплата, О нас.

Чем проверять:

  • Проверка валидности файла осуществляется в старой панели GSC (Crawl – robots.txt Tester). Здесь вы можете проверить любую страницу на закрытость или открытость для роботов.

Файл robots.txt

Или проверить только что созданный свод правил на корректность.

  • Альтернативный инструмент для проверки файла есть и в панели Яндекса для вебмастеров (Инструменты – Анализ robots.txt).
    Кроме возможности проверить каждую страницу на доступность для роботов, Яндекс позволяет просмотреть историю изменений файла в выпадающем списке «Версия robots.txt».

Файл robots.txt-2

  • Дополнительный способ проверить URL на наличие запрещающих правил в файле – использование букмарклета.

Перетащите эту кнопку в закладки

Использовать его просто:

  • открываете в браузере (у нас Google Chrome) нужную страницу;
  • активируете букмарклет;
  • изучаете результат:

Файл robots.txt-3

  • клик на «OK» откроет правила, заданные robots.txt.

2. Карта сайта

Карты обязательны для больших проектов. Рекомендуется настроить автообновляемую карту, куда будут записываться все новодобавленные URL.

Требования к xml-карте сайта:

  • Xml-карта содержит адреса по актуальному протоколу (http и https).
  • Xml-карта содержит страницы, отвечающие только 200 ОК.
  • Не содержит неканонические страницы.
  • Не содержит страниц, которые владелец сайта закрыл от индексации (тегами noindex, мета тегами noindex,заголовком http-ответа).
  • Заданы корректные заголовки lastmod и priority. Приоритетность сканирования становится бессмысленной, если у всех страниц указано 1. Одинаковая дата в lastmod на всех страницах также не будет полезной. Ведь она указывает, что все URL были обновлены в одно и то же время. На основе этих данных робот не сможет выделить страницы, которые нужно индексировать.
  • Карты проходят валидацию и добавлены в инструменты GSC и Яндекс вебмастер.

Дополнительным плюсом загрузки карты в GSC является контроль индексации. Например, ваша карта разбита на подкарты. Вы можете загрузить каждую подкарту отдельно и наблюдать ошибки и дату сканирования каждого отдельного URL.

На скриншоте показано состояние сканирования отдельной карты: ошибки, количество исключённых и проиндексированных URL.

Карта сайта

3. Цепочки редиректов

Чаще всего на сайтах используются 301 (постоянное перенаправление) и 302 (временное перенаправление) редиректы. Подробная информация о редиректах есть в статье – «301, 302 или 404? Что применять и в каких случаях?».

Важно следить, чтобы URL, отдающие 301 и 302 коды, не находились в структуре сайта. Иногда на сайтах используются цепочки, состоящие из нескольких перенаправлений.

На скриншоте показано, что к конечному URL робот может добраться через 2 перенаправления.

Цепочки редиректов

Такая практика чревата расходом краулингового бюджета. И от этого она особо опасна для больших сайтов.

Чем проверять:

Найти адреса с 3** кодом поможет парсинг.

  1. В Screaming Frog – вкладка «Response Codes» – «Redirection (3хх)».

Цепочки редиректов-2

  1. В Netpeak Spider — «Сводка» — «Тип страницы» — «Редирект».

страницы с 3** кодом в Netpeak Spider

4. Проверка наличия 404-й ошибки

Ошибка 404 должна возникать, только если пользователь неправильно ввёл URL. Страница ошибки оформляется в стилистике сайта и предлагает пользователю как можно больше вариантов для перехода на другие страницы. Тонкости оформления страницы ошибки описаны в нашей статье «Error 404 – что значит, как найти и исправить ошибку».

Проверьте наличие 404-й страницы в структуре сайта: если робот или пользователь при серфинге по сайту наткнулся на неработающую страницу, то с большей долей вероятности он покинет сайт.

При проверке наличия 404-й страницы, нужно обратить внимание на:

  • 404-ая страница отдаёт 404-й код.
  • Страницы, которые должны быть проиндексированы, не отвечают 404-й ошибкой.
  • Проверить корректность кода ответа сервера нужно на всех типах страниц (главная, страница категории, карточка товара, страница статьи).

Чем проверять:

  • Любой парсер.
  • Панель Яндекса для вебмастеров. Ссылки – Внутренние ссылки – Запрещены к индексированию или не существуют.

Здесь вы увидите страницы, отдающие 404-ую ошибку, и их расположение, а также динамику прироста на сайте.

Проверка наличия 404-той ошибки

5. Зеркала сайта

Сайт должен быть доступен по одному адресу. Дублирование на таком же домене, но с префиксом www, может негативно сказываться на оценке основного домена.

Проверка зеркал на доступность:

  • По двум протоколам сразу http и https.
  • С префиксом www и без него.
  • По его IP (сайт доступен и по названию домена https://site.com, и по IP-адресу 185.42.230.20).
  • Доступность домена с указанием его порта, например, https://site.com: 443/.
  • Полное дублирование сайта на служебном поддомене: например, https://mail.site.com.

Чем проверить:

  • Вручную.
  • Отчёт Яндекс.Метрики – страницы входа + добавить группировку «Домен страницы входа».

Зеркала сайта

В итоге мы видим, на какие поддомены нашего сайта идёт трафик.

Зеркала сайта-2

Проверяем найденные поддомены на дублированность контента основного сайта. Если контент полностью дублируется, то закрываем его от поисковиков.

6. Проверка технических дублей

Повторяющийся контент на нескольких URL.

  • со слешем на конце: http://www.site.com/page1/;
  • без слеша на конце: http://www.site.com/page1;
  • с index.html на конце: http://www.site.com/page1/index.html;
  • с index.php на конце: http://www.site.com/page1/index.php;
  • с использованием протокола http: http://www.site.com/;
  • с использованием защищённого протокола https: https://www.site.com/;
  • c использованием заглавных символов: http://www.site.com/Page1/;
  • c префиксом www: http://www.site.com/page1/;
  • без префикса www: http://site.com/page1/.

Как устранить дублирование:

  • настроить редирект (301) с дубля на целевой адрес;
  • настроить атрибут rel=canonical с дубля на целевой адрес;
  • использовать запрещающий индексирование метатег robots= noindex,nofollow;
  • закрыть дубль заголовком http-ответа X-tag robots= noindex,nofollow.

Чем проверить:

  • Вручную стоит проверить все типы страниц на доступность со слешем в конце и без него.
  • Доступность по двум протоколам сразу покажет парсер. Например, Screaming Frog – вкладка «Protocol».

Проверка технических дублей

Также можно использовать Netpeak Spider — в колонке «Сводка» перейдите к «Протокол» — «Разделение на https \ http»:

Проверка доступности по двум протоколам в Netpeak Spider

Наличие в URL прописных символов можно оценить также в Netpeak Spider или Screaming Frog.

7. Проверка пагинации

В организации пагинации на сайте традиционно используют два подхода. Зависят они от приоритетной поисковой системы.

Что проверять:

Для Яндекса используется атрибут canonical со всех страниц пагинации на первую http://site.com/category/.

При проверке пагинации обязательно проверяйте наличие и доступность страницы http://site.com/category/page1/. Обычно, она является дублем http://site.com/category/.

Страницу http://site.com/category/page1/ нужно закрывать от сканирования и индексирования.

8. Микроразметка

Это разметка HTML-кода страниц с помощью специальных атрибутов по принятым стандартам поисковых систем.

Разметка schema даёт роботам Google более точную и полезную информацию о вашем сайте. Улучшает сниппеты, делая их более заметными, влияет на CTR.

Что проверять:

Наиболее часто на сайтах используется разметка для:

  • Контактов.
  • Карточек товаров.
  • Хлебных крошек.

Проверяйте корректность разметки на всех типовых страницах.

Чем проверить:

Проверка структурированных данных от Google

9. Проверка сохранённой копии страницы

Контент, который виден пользователям, не должен отличаться от контента, который вы отдаёте поисковому роботу.

Проверить, как робот видит вашу страницу, можно через сохранённую копию.

Что проверять:

  • виден ли текст в сохранённой копии;
  • совпадает ли он с тем, что видит пользователь;
  • видны ли навигационные ссылки;
  • есть ли элементы или текст, который пользователю не показан.

Чем проверять:

  • Вручную.

10. Проверка скорости загрузки

Скорость – важный фактор ранжирования, особенно в Google. При оптимизации скорости стремитесь стремитесь к показателю максимум 200 мс (ответ сервера).

Чем проверять:

Ссылки по теме:

  1. Обновление PageSpeed Insights: что изменилось, на какие метрики обращать внимание?
  2. Как оптимизировать скорость загрузки сайта, чтобы улучшить позиции в Яндексе и Google.

11. Проверка ЧПУ адресов

URL-адреса должны соответствовать следующим требованиям:

  • Все символы в нижнем регистре.
  • Отсутствуют URL длиной больше 100 символов.
  • Отсутствуют нижние подчёркивания в URL, пробелы, кавычки.
  • В адресах отсутствуют кириллические символы (для адресов на латинице).

Важно! Эта рекомендация важна для молодых сайтов, которые ранее не продвигались, или закрытых от индексации ресурсов. Если по адресам с такими ошибками идёт поисковый трафик, то не спешите переформировывать URL. Значительного прироста в ранжировании после внедрения ЧПУ не замечалось, а вот просадка позиций на некоторое время неминуема. Превращать обычные URL в ЧПУ стоит тогда, когда нечего терять.

Чем проверять:

  • Screaming Frog покажет адреса, содержащие нижнее подчёркивание: URL – Underscores.

ЧПУ в Screaming Frog

URL с символами в верхнем регистре: URL – Uppercase.

Верхний регистр в Screaming Frog

  • Netpeak Spider показывает адреса, содержащие нижнее подчёркивание, при настройке сегмента:

Сегмент: включить URL содержит "_"

Длина URL (сервис)-2

12. Сайт адаптирован для мобильных устройств

В эпоху Mobile First indexing идеальная адаптивность под мобильные устройства обязательна для всех сайтов.

Что проверять:

Лучше проверить все страницы сайта вручную с мобильного. Тогда вы почувствуете себя на месте мобильного пользователя и сможете найти проблемные места в уголках сайта.

Но если речь идёт о большом магазине, то проверяйте страницы каждой категории и хотя бы по одной товарной карточке каждой категории.

Чем проверять:

  • Массовую проверку состояния мобильной версии можно доверить панели GSC. В ней проводится постоянный мониторинг сайта и корректности его отображения на мобильном.

Сайт адаптирован для мобильных устройств

  • Инструмент https://search.google.com/test/mobile-friendly покажет проблему на конкретной странице.
  • В Netpeak Checker можно получать данные по списку URL-ов из сервисов Google PageSpeed Insights, Mobile-Friendly Test и Safe Browsing, при этом необходимо иметь публичный API-ключ (этот ключ бесплатный и используется для всех этих сервисов):

Проверка мобильной адаптации в Netpeak Checker

13. Индексирование

Проверьте, сколько страниц видит Google и сколько Яндекс. Если число проиндексированных страниц в одной ПС значительно превосходит количество в другой, это уже может говорить о проблеме: либо санкции, либо технические ошибки, препятствующие индексированию части страниц.

Что проверять:

Проверьте наличие в индексе наиболее важных страниц.

Чем проверять:

  • Операторами inurl: и site: точечно проверьте наличие страниц в индексе.
  • Проверка URL в GSC помогает узнать, проиндексирована ли страница, и какие проблемы на пути индексации.

Проверка URL в GSC

Проверка индексации в Google (сервис)

Внутренняя оптимизация

1. Уникальность содержания

Допускать дублирование в пределах сайта – это собственноручное снижение рейтинга сайта.

Наиболее частые проблемы – это дублирование содержания главных метатегов и заголовков (title, description, h1, h2).

Чем проверять:

Любой обычный парсер снабжён опцией находить, показывать и экспортировать в отчёты дублирующийся контент.

2. Наличие пустых страниц

Пустые или с малым количеством контента страницы могут быть расценены поисковиками как низкокачественные. А наличие таких страниц на ресурсе может понижать общую оценку ресурса.

Чем проверять:

  • Яндекс.Вебмастер – «Индексирование» – «Страницы в поиске» – «Исключённые страницы»

Здесь, выбрав фильтр «Недостаточно качественные», вы увидите, какие страницы Яндекс посчитал недостойными находиться в его индексе. Убедитесь, что важные для привлечения трафика страницы не находятся в этом списке, и начинайте работать над наполнением и добавочной ценностью адресов. Как работать с такими страницами узнайте в статье «Страницы низкого качества или как понять, что твой сайт «не очень».

  • Screaming Frog – вкладка Word Count.

Отсортировав по нарастанию, вы увидите страницы, которые либо нужно наполнять контентом, либо закрывать от индексации.

Пустые страницы в Screaming Frog

  • Netpeak Spider — открываете «Параметры» — «Количество слов» (можно фильтровать по количеству от большего к меньшему и наоборот):

Сортировка по количеству слов

3. Оптимизация Title

Заголовок страницы, его содержание, оптимизация ключевыми словами напрямую влияют на ранжирование.

Что проверять:

  • Используется краткий и ёмкий заголовок.
  • Title отображает содержимое страницы.
  • Ближе к началу используются важные ключевые слова.
  • Title является уникальным в пределах сети.
  • Используются спецсимволы (emoji).
  • Длина заголовка в пределах 70 символов.

Чем проверять:

  • Screaming Frog – вкладка Pages titles. Содержит выпадающий список сортировок, может показать страницы, где заголовок дублируется, отсутствует либо превышает длину. Размер заголовка можно оставить дефолтным, а можно задать собственные параметры.

Проверка title в Screaming Frog

  • Netpeak Spider — увидеть все ошибки связанные с Title можно применив «Сегмент», с соответствующими настройками:

поиск ошибок в title

  • Плагин для браузера SeoMeta in 1 Click показывает размер и содержание title открытой страницы.

Проверка title плагином

Длина title

4. Оптимизация метатега Description

От содержания метатега зависит заметность вашего сниппета в выдаче.

Что проверять:

  • Текст в метатеге состоит из не более 250 символов.
  • Текст описания привлекает внимание и побуждает к действию.
  • В описании присутствуют ключевые слова.
  • Добавлены кнопки чата от Яндекса (если на сайте подключён онлайн-консультант).
  • Подключён ли модуль «Товары и цены» в Вебмастере.

Чем проверять:

Упомянутыми в предыдущем пункте инструментами.

Когда готовы и оптимизированные сниппеты, вы можете проверить, как они будут смотреться в выдаче

Инструменты:

Serp Checker

5. Проверка текстового контента

Что проверять:

  • Уникальность текстов статей – от 85%.
  • Структурированность и читаемость контента.
  • Тексты оптимизированы под ключевые слова.
  • Проверить тексты на грамматические, орфографические и стилистические ошибки.

Чем проверять:

Уникальность текстов:

Уникальность текстов

Оптимизацию ключевыми словами можно проверить:

Оптимизация ключевыми словами

Проверить тексты на стилистические ошибки:

Сервис Главред

Проверить тексты на грамматические, орфографические ошибки:

  • http://spell-checker.ru/ – проверяет весь сайт, в отчёте показывает слова, которые вызвали у него подозрения.

Проверить тексты на грамматические ошибки

  • Аналогичные функции, но не на всём сайте, а на конкретном тексте выполняет инструмент: https://text.ru/spelling.

Если требуется экспресс-оценка сайта, и нет времени на выполнение вышеперечисленных пунктов, то используйте нашу пошаговую SEO-диагностику сайта.

Возникли проблемы с оптимизацией сайта? Обращайтесь к нам!

Заказать аудит сайта

Подписаться на рассылку

Еще по теме:


Ольга С.

SEO-аналитик

Работала в рекламе, занималась копирайтингом.

Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.

Сейчас помогаю развивать клиентские проекты в SiteClinic.

Девиз: Рано или поздно это придется сделать, поэтому лучше рано.

Оцените мою статью: 

1 Star2 Stars3 Stars4 Stars5 Stars (11 оценок, среднее: 4,91 из 5)

Есть вопросы?

Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.

Наверх
  • Stanislav Romanenko

    Подскажите, в чём смысл использовать nextprev после заявлений о том, что он не учитывается? У вас есть данные, опровергающие эти заявления?

    • Ольга

      Убрали из статьи рекомендации nextprev. Единственное: если теги уже настроены, их можно не убирать. Вредапользы они не должны принести