Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt»

Ответ

Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].

Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.

Чтобы исправить ошибку, нужно выполнить следующие действия:

• Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
• Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
• Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
• Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.

Еще по теме:

• Как кластеризировать запросы, анализируя ТОП выдачи?
Есть запросы "жидкое стекло на авто", "жидкое стекло на машину" и "жидкое стекло на автомобиль". Скажите, нужно создавать страницу с текстом под каждый запрос или...
• Помогают ли социальные сети в индексировании контента?
Помогают ли социальные сети - Фейсбук или Твиттер в индексировании контента? Если разместить ссылку на страницу в соц. сети проиндексируется ли она быстрее? Ответ Социальные...
• Как попасть в блок с быстрыми ответами в Яндекс?
С момента запуска нового поиска от Яндекса Y1 упали позиции, но не критично и обвалился трафик. Проверил несколько запросов, Яндекс стал выдавать по ним быстрые...
• Какие анкоры выбирать для сквозных ссылок?
Какие анкоры выбирать для сквозных ссылок? Можно ли поставить сквозную ссылку (на сайте на 5к страниц) с коммерческим анкором? И можно получить за это санкции...
• Как правильно реализовать страницу фильтра на сайте, если наборов фильтров очень много?
Как правильно организовать страницу фильтра на продающем сайте, если наборов фильтров очень много, стоит ли делать канонические урлы для таких страниц, чтобы как-то уменьшить число...

---

Дария

SEO-аналитик

В SEO нравится возможность работать в различных ситуациях.
Всегда привлекала командная работа.

Увлекаюсь хореографией, настолками, сериалами и фильмами, чуть-чуть играю в волейбол и настольный теннис.

Девиз: Человек сам прокладывает свой путь

dariya@siteclinic.ru

Оцените мою статью: 

(2 оценок, среднее: 5,00 из 5)