Доступны ли к индексации страницы, если лягушка показывает, что они закрыты x-robots-tag?

Ответ

Сам факт того, что страницы видны через site: оператор не означает, что страницы доступны к индексации и на них нет тега. Это лишь индикатор того, что страницы физически находятся в индексе поисковой системы и, возможно, робот еще не успел их обойти, чтобы обновить статус.

Чтобы понять, в чем именно причина такой проблемы, нужно проверить:

• Как видит бот эти страницы с помощью Search Console. Если X-Robots-Tag есть, то консоль это покажет. Альтернативно можно использовать онлайн-сервисы проверки HTTP-заголовков.
• Сетевые логи в браузере (Network tab в DevTools) при загрузке проблемных страниц — там тоже будут видны все заголовки ответа сервера.

Если по факту тега на страницах нет, но Лягушка показывает их как закрытые от индексации — это явный признак некорректной работы инструмента сканирования или неправильных настроек парсинга.

1️⃣ Различия в User-Agent:
Screaming Frog по умолчанию использует свой User-Agent. Может быть такое, что сервер может отдавать разные заголовки X-Robots-Tag в зависимости от агента. Поменяйте его на User-Agent Googlebot и проверьте результат.

2️⃣ Ошибки в конфигурации:
Неправильные правила в файле .htaccess или в конфигурации Nginx могут приводить к отправке неправильных заголовков X-Robots-Tag. Проверьте эти файлы на наличие ошибок и исправьте их, если необходимо.

3️⃣ Ошибки в Screaming Frog:
Хотя это и менее вероятно, возможны ошибки в самом Screaming Frog. Попробуйте обновить программу до последней версии.

4️⃣ Кэширование заголовков:
Может быть такое, что заголовки X-Robots-Tag закэшировались, из-за чего лягушка их видит, хотя по факту их нет. Попробуйте очистить кэш и пересканировать сайт.

Если проблема не устранится и после этих манипуляций, то попробуйте сканировать сайт с настройкой follow internal «nofollow».

Еще по теме:

• В чем может быть причина выпадения страниц из индекса Google?
Страницы были в индексе Google. Добавили на них текст, позиции и видимость подросли. Через пару дней Google выкидывает их из индекса и теперь они "Просканирована,...
• Как проверить маршрут поискового робота по сайту и увеличить частоту индексации страниц?
Очень странно попадают страницы в индекс сайта - то днями ждать нужно, то сразу после создания. Как проверить маршрут робота по сайту? Хочу узнать причину...
• Как отменить запрос на удаление страницы из индекса?
Если случайно отправили запросы на удаление из индекса нужных страниц через Google Search Console, что сделать чтобы они не вылетели из индекса? Запросы отправлены, но...
• Как время ответа сервера (TTFB) влияет на индексацию Google?
Интернет-магазин строительных товаров, сделан по типу каталожки, очень много категорий. Однако, у сайта есть проблема - время ответа сервера (TTFB) чуть ли не 2 секунды,...
• Может ли Cloudflare повлиять на сканирование и индексирование сайта?
Подскажите, пожалуйста, чем может обернуться подключение Cloudflare или других скриптов для защиты от DDOS или накрутки? Есть версии, что подобные скрипты могут мешать сканированию сайта...