Как автоматизировать проверку индексации страниц конкурентов?

Какими сервисами можно быстро узнать, какие области на сайте открыты для индекса, а какие нет? Или только через код смотреть вручную можно?

Ответ

Если речь идет о точечной проверке индексации контента на странице, то можем порекомендовать использовать XPath. Например, с помощью функции ImportXML можно выгрузить в Google Sheets фрагменты контента у которых стоит атрибут (noindex) и таким образом определить какая именно информация на странице закрыта от поисковой индексации. Подробная инструкция есть у нас в статье “Парсим сайт при помощи XPath”.

Если речь идет о проверке индексации страниц сайта в целом, то кроме проверки вручную разметки (кода), существует целый ряд способов:

1. При помощи расширений браузера (например: SimilarWeb, MozBar, RDS bar). Они позволяют в несколько кликов проанализировать индексацию вашей страницы. Также существует возможность создавать кастомные скрипты и устанавливать их в закладки браузера (так называемые букмарклеты), которые могут вам помочь в сборе информации об индексации. Подробнее о плагинах мы рассказывали в нашем блоге 11 полезных расширений для SEO-специалиста и 10 настроек плагина RDS Bar.

2. С помощью сервисов для парсинга (например: Netpeak Spider, Screaming frog и тд). Перечисленные программы оснащены большим количеством полезных инструментов, которые удобным образом в автоматическом режиме могут собирать и структурировать данные о вашем сайте, в частности на наличие ошибок, проблем с индексацией и прочее. Данные программы могут стать удобным помощником в техническом анализе вашего ресурса на предмет ошибок. Информацию о использовании парсеров вы можете найти тут.

3. Ручная проверка через поисковую строку (с помощью расширенных операторов поиска). Один из простых и действенных способов, который может вам помочь в проверке индексации вашего контента на сайте (например, достаточно ввести оператор inurl с нужным вам фрагментом контента на странице, и вы сможете убедится, есть ли он в индексе). Также, посмотрев сохраненную копию страницы в поисковой выдаче, можно увидеть, как именно страница и какая информация на ней сохранена в индексе ПС. Подробнее о поисковых операторах в статье 10 примеров применения операторов поиска Яндекс и Google.

4. Яндекс.Вебмастер (Индексирование) и Google Search Console (Покрытие). Наверное, один из самых достоверных и надежных способов проверки индексации. Благодаря обширной информации из ресурсов веб-мастеров вы сможете узнать количество страниц, у которых была выявлена проблема индексации, и их краткое описание, проанализировать статистику и скорость обхода страниц поисковыми ботами, отслеживать изменения на важных и продвигаемых URL. Настоятельно рекомендуем вам взаимодействовать с данными сервисами, так как они отлично помогают следить за количественными и качественными метриками вашего сайта.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Ускорит ли индексацию создание отдельного sitemap для обновленных страниц на сайте?

Есть сайт, довольно большой (около 5000 страниц). На сайте обновили часть контента (35% от общего количества примерно). Для того чтобы эти страницы быстрее проиндексировались нужно...

Как обеспечить индексацию динамического AJAX-контента в модальном окне?

Хочу сделать информацию о проекте в модальном окне. Содержимое окна будет погружаться AJAXом. Как на это среагируют поисковики? Как обеспечить индексирование информации в этих окнах?...

Как продвигать поддомены интернет-магазина по городам и избежать проблем с их индексацией?

У интернет-магазина созданы поддомены для нескольких городов, размещены топонимы в title, description, h1 в категориях и карточках товаров. Товары в поддоменах индексируются неравномерно, вследствие чего...

Закрывать ли страницы пагинации в интернет-магазинах в robots или нет?

Что делать со страницами пагинации в интернет магазинах? Закрывать их от индексации в robots или не трогать? Пример: 1. Есть страница категории товара site.сom/category01/ на...

Как удалить из индекса Google ненужные страницы?

Как можно удалить из индекса ненужные там страницы? Речь про Google, попали в индекс страницы пагинации и страницы сортировки. Ответ В первую очередь про страницы...