Доступны ли к индексации страницы, если лягушка показывает, что они закрыты x-robots-tag?

Ответ

Сам факт того, что страницы видны через site: оператор не означает, что страницы доступны к индексации и на них нет тега. Это лишь индикатор того, что страницы физически находятся в индексе поисковой системы и, возможно, робот еще не успел их обойти, чтобы обновить статус.

Чтобы понять, в чем именно причина такой проблемы, нужно проверить:

• Как видит бот эти страницы с помощью Search Console. Если X-Robots-Tag есть, то консоль это покажет. Альтернативно можно использовать онлайн-сервисы проверки HTTP-заголовков.
• Сетевые логи в браузере (Network tab в DevTools) при загрузке проблемных страниц — там тоже будут видны все заголовки ответа сервера.

Если по факту тега на страницах нет, но Лягушка показывает их как закрытые от индексации — это явный признак некорректной работы инструмента сканирования или неправильных настроек парсинга.

1️⃣ Различия в User-Agent:
Screaming Frog по умолчанию использует свой User-Agent. Может быть такое, что сервер может отдавать разные заголовки X-Robots-Tag в зависимости от агента. Поменяйте его на User-Agent Googlebot и проверьте результат.

2️⃣ Ошибки в конфигурации:
Неправильные правила в файле .htaccess или в конфигурации Nginx могут приводить к отправке неправильных заголовков X-Robots-Tag. Проверьте эти файлы на наличие ошибок и исправьте их, если необходимо.

3️⃣ Ошибки в Screaming Frog:
Хотя это и менее вероятно, возможны ошибки в самом Screaming Frog. Попробуйте обновить программу до последней версии.

4️⃣ Кэширование заголовков:
Может быть такое, что заголовки X-Robots-Tag закэшировались, из-за чего лягушка их видит, хотя по факту их нет. Попробуйте очистить кэш и пересканировать сайт.

Если проблема не устранится и после этих манипуляций, то попробуйте сканировать сайт с настройкой follow internal «nofollow».

Еще по теме:

• Почему Google больше месяца не индексирует страницы сайта после переезда на новый домен?
Привязал сайт к новому домену. По сайтмапу все отлично, робот настроен правильно, страницы тоже хорошие с нормальным контентом (сайт по изготовлению лестниц). И уже месяц...
• Нужно ли ждать индексацию дропа перед подклейкой к основному сайту?
Перед подклейкой дропа к основному сайту, нужно ли на дропе разворачивать тематический сайт и ждать его переиндексации? Ответ: Если вы уверены в качестве домена –...
• Как можно повлиять на индексацию страниц нового сайта и надо ли создать sitemap с тегом lastmod и добавить его в robot?
Сайту месяц, при первой индексации в Google было обнаружено 4000 страниц из них проиндексировалось штук 100. Остальные найдены, но не проиндексированы, т.к. были пустыми. Теперь...
• Закрывать ли страницы пагинации в интернет-магазинах в robots или нет?
Что делать со страницами пагинации в интернет магазинах? Закрывать их от индексации в robots или не трогать? Пример: 1. Есть страница категории товара site.сom/category01/ на...
• Нужно ли индексировать js, css файлы и изображения?
У товарища сайт стоматологической клиники. Он зачем-то закрыл от индексации js, css и все изображения. Я считаю, что это критическая ошибка, т.к. бот не сможет...