Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt»

Ответ

Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].

Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.

Чтобы исправить ошибку, нужно выполнить следующие действия:

• Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
• Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
• Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
• Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.

Еще по теме:

• Как повлияет на SEO, если для сайта переводить тексты через чат GPT?
Можно ли переводить тексты для сайта через чат GPT на английский язык? Нормально ли это для SEO? Ответ Безусловно, вы можете переводить тексты на английский...
• Можно ли повторно покупать ссылки у доменов-доноров и насколько они будут эффективны?
Количество качественных доноров на ссылочных биржах ограничено. Страницы, где куплена ссылка, обычно не обновляются и имеют околонулевую посещаемость со временем. Эффективна ли будет повторная покупка...
• Как правильно удалить из индекса множество ошибочных URL?
Нужно как-то удалить url 25000+(тысяч). В целом, удалить, то не проблема, главное, чтобы для поисковиков было ОК. Эти урлы были созданы по ошибке. То есть,...
• Как можно обнаружить переспам и убрать фильтр за переоптимизацию?
Мой сайт попал под санкции Яндекса за переоптимизацию текстов у карточек товаров. Карточек где-то 10К, тексты уникальные, написанные продавцами. Вопрос: как определить на каких именно...
• Как повлиял на выдачу недавний медицинский апдейт Яндекса
Недавно был апдейт в Яндексе, который затронул мед. сайты и интернет-аптеки. Видел у вас успешные кейсы продвижения сайтов аптек. Скажите, есть ли рекомендации общие или...

---

Дария

SEO-аналитик

В SEO нравится возможность работать в различных ситуациях.
Всегда привлекала командная работа.

Увлекаюсь хореографией, настолками, сериалами и фильмами, чуть-чуть играю в волейбол и настольный теннис.

Девиз: Человек сам прокладывает свой путь

dariya@siteclinic.ru

Оцените мою статью: 

(2 оценок, среднее: 5,00 из 5)