Как сделать анализ индексации крупного информационного сайта?

Ответ

Единственный способ наиболее достоверно узнать сколько страниц сайта в индексе, это Google Search Console. В панели управления вебмастера Google выбираем вкладку «Индексирование», затем — «Страницы». В этом отчете отображается количество и список проиндексированных страниц. Кроме того, тут же показываются и страницы, которые не в индексе по разным причинам:

• Страницы с 404 или 3** кодом сервера: если страница битая или удалена, то поисковый робот со временем выкинет ее из индекса. Тоже самое касается страниц с переадресаций (301 редирект).
• Ошибка сервера (5** код ответа): Если при загрузке страницы возникает ошибка на стороне сервера, то робот просто не сможет просканировать и обработать страницу, так как она не загружается.
• Страницы заблокированы от индексации в robots.txt или noindex.
• Малоценные страницы: сюда относятся смысловые и технические дубли, страницы с get-параметрами, страницы с каноникалом.
• Страницы-сироты: если на страницу не ведут внутренние ссылки и она не добавлена в сайтмап, то бот ее не сможет найти и добавить.

Так как ваш сайт достаточно большой, выгрузить весь список страниц не в индексе с Консоли не получится.

Для этого рекомендуем воспользоваться вспомогательными средствами:

• Проверить индексацию с помощью программ. Такие сервисы, как Screaming Frog Seo или Xenu Links Sleuth автоматически сканируют сайт и показывают страницы, которые не попали в индекс по тем или иным причинам. Чтобы не выгружать весь сайт сразу (что может занять несколько дней), можно разбить сканирование на несколько частей: сначала статьи 2010 года, потом страницы с припиской .html и т.д..
• Специальные онлайн сервисы. Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта. Кроме того, можно проверить индексацию через Ahrefs и Serpstat.

Еще по теме:

• Можно ли в семантике информационного сайта использовать коммерческие запросы?
Подскажите, пожалуйста, есть информационный сайт по обзору различных товаров, на котором стоят партнерские ссылки на эти товары. Можно ли при составлении СЯ использовать коммерческие запросы...
• Ранжируется ли переведенный контент в Яндексе?
Есть мнение, что поисковые системы рассматривают даже качественный машинный перевод публикаций с другого сайта как дубли. Но есть и другое мнение от авторитетного агентства —...
• Какие анкоры подбирать для главной страницы информационного ресурса?
Скажите, какой смысл в покупке безанкорных ссылок на главную страницу сайта-статейника? Можно ли с помощью безанкорных ссылок повысить рейтинг сайта, или безанкор годится только для...
• Как можно локализовать информационный сайт?
Если информационный сайт на английском языке. Трафик у него сначала был строго с США, но потом резко начал расти регион Индии. Понимаем, что для информационника...
• Как поступать со страницами сайта, которые быстро теряют свою актуальность?
Есть сайт с прогнозами погоды, и под каждую неделю у нас отдельная страница. Но, как только неделя меняется, информация перестает быть актуальной, соответственно, и трафик...

---

Анастасия Е.

anastasiia.y@siteclinic.ru

Оцените мою статью: 

(Пока оценок нет)