Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt»

Ответ

Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].

Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.

Чтобы исправить ошибку, нужно выполнить следующие действия:

• Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
• Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
• Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
• Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.

Еще по теме:

• Каких доноров выбирать для покупки ссылок на региональные поддомены?
Какие ссылки покупать для региональных поддоменов? Можно ли выбирать тех же доноров, на которых покупались ссылки для основного домена? Ответ Нет особого смысла в выборе...
• Как заполнять alt для изображений?
Если на каждой странице товаров несколько изображений товара, можно ли прописывать одинаковые alt (название товара) или нужно добавлять -1 -2 -3 и т.п. для уникализации?...
• Может ли неправильная структура сайта и нахождение страницы не в своём разделе повлиять на продвижение?
Влияет ли то, в каких разделах сайта находится страница, на ее позиции? Допустим, страница идеально оптимизирована, подобраны ключевые слова. Но находится в разделе сайта, который...
• Какими сервисами можно определить качество сайтов?
Насколько объективным является показатель DA в Ahrefs? По каким показателям ещё можно качество сайтов определять? Ответ DA - авторитет домена, который в сервисе Ahrefs обозначается...
• Как обновить и доработать информационные статьи, чтобы они приносили трафик?
Ситуация такая: есть сайт с 3000 статей на тему гаджетов, ежедневно сейчас пишу 5-8 статей небольших новостей по гаджетам. Трафик 2500 посетителей в сутки (1000...

---

Дария

SEO-аналитик

В SEO нравится возможность работать в различных ситуациях.
Всегда привлекала командная работа.

Увлекаюсь хореографией, настолками, сериалами и фильмами, чуть-чуть играю в волейбол и настольный теннис.

Девиз: Человек сам прокладывает свой путь

dariya@siteclinic.ru

Оцените мою статью: 

(2 оценок, среднее: 5,00 из 5)