Как сделать анализ индексации крупного информационного сайта?

Ответ

Единственный способ наиболее достоверно узнать сколько страниц сайта в индексе, это Google Search Console. В панели управления вебмастера Google выбираем вкладку «Индексирование», затем — «Страницы». В этом отчете отображается количество и список проиндексированных страниц. Кроме того, тут же показываются и страницы, которые не в индексе по разным причинам:

• Страницы с 404 или 3** кодом сервера: если страница битая или удалена, то поисковый робот со временем выкинет ее из индекса. Тоже самое касается страниц с переадресаций (301 редирект).
• Ошибка сервера (5** код ответа): Если при загрузке страницы возникает ошибка на стороне сервера, то робот просто не сможет просканировать и обработать страницу, так как она не загружается.
• Страницы заблокированы от индексации в robots.txt или noindex.
• Малоценные страницы: сюда относятся смысловые и технические дубли, страницы с get-параметрами, страницы с каноникалом.
• Страницы-сироты: если на страницу не ведут внутренние ссылки и она не добавлена в сайтмап, то бот ее не сможет найти и добавить.

Так как ваш сайт достаточно большой, выгрузить весь список страниц не в индексе с Консоли не получится.

Для этого рекомендуем воспользоваться вспомогательными средствами:

• Проверить индексацию с помощью программ. Такие сервисы, как Screaming Frog Seo или Xenu Links Sleuth автоматически сканируют сайт и показывают страницы, которые не попали в индекс по тем или иным причинам. Чтобы не выгружать весь сайт сразу (что может занять несколько дней), можно разбить сканирование на несколько частей: сначала статьи 2010 года, потом страницы с припиской .html и т.д..
• Специальные онлайн сервисы. Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта. Кроме того, можно проверить индексацию через Ahrefs и Serpstat.

Еще по теме:

• Нужно ли собирать семантическое ядро для информационного сайта?
Обязательно ли собирать семантическое ядро для информационного сайта заранее, или можно параллельно писать обзор на новый смартфон и подбирать под него ключевые запросы, например? Ответ...
• Как лучше поступить при смене тематики сайта — продвигаться на старом домене по новой семантике или создать новый?
Примерно два года назад создал информационный сайт. Долго продвигал его по запросам на тему саморазвития, по типу "с чего начать саморазвитие?", "ТОП-15 книг для саморазвития"...
• Мешает ли информационный трафик продвижению ИМ по коммерческим запросам?
Есть мнение, что превалирующий информационный трафик на коммерческий сайт (например, сайт производителя мёда и оптовой продажи и блог про мёд, информационный трафик составляет 90%) мешает...
• Какие есть нетипичные точки роста для продвижения информационных сайтов?
Продвижение информационного портала для инженеров. Какие есть неочевидные точки роста для продвижения информационных сайтов? Работы по оптимизации и проработке статей, а также внешняя оптимизация уже...
• Можно ли расширять тематику информационного сайта?
Информационный сайт, занимаемся им давно. Тематика: обзоры и рейтинги гаджетов одного вида. Добились хороших результатов, по интересующим запросам процентов 80 из всех статей занимают ТОПовые...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)