Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt»

Ответ

Для поисковой системы Google в файле robots.txt прописываются правила сканирования сайта, но не индексирования. То есть сканирование может быть запрещено, но поисковая система добавит в индекс данный URL адрес, так как нашла его другими способами. Google не будет напрямую сканировать и индексировать контент, указанный в файле robots.txt, однако URL с закрытым доступом может быть найден и добавлен в индекс из-за ссылок на других сайтах. Таким образом, запреты в файле robots.txt не исключают появление URL и других общедоступных сведений, например текстов ссылок, в результатах поиска Google [Справка Google].

Если учитывать, что чаще всего в robots.txt закрывают некачественные, технические, пустые, частичные либо полные дубли страницы, то появление таких страниц в индексе могут негативно повлиять на ранжирование сайта.

Чтобы исправить ошибку, нужно выполнить следующие действия:

• Проверить файлы sitemap на наличие заблокированных страниц в robots.txt, если есть такие — убрать.
• Проверить все бэклинки на сайт, убедится что нет ссылок на страницы, заблокированные в robots.txt.
• Убрать из файла Robots.txt директивы, которые запрещают сканирование указанных в отчете url-адресов.
• Закрыть от индексации все некачественные url-адреса при помощи мета тега robots либо X-Robots-Tag, либо удалить страницу.

Еще по теме:

• Влияние сквозных блоков с повторяющимся контентом на ранжирование
Интересует влияние сквозных блоков с одинаковым содержимым на разных страницах сайта. По сути это дублирующийся контент. Какое влияние он оказывает на позиции сайта? Такие блоки...
• Как эффективнее поступить с большим количеством уникального контента — опубликовать все сразу, добавив ссылки, или публиковать постепенно?
Подскажите, пожалуйста, как лучше сделать: имею 300 уникальных статей. Их лучше сразу выкатить на сайт и купить ссылок. Или порционно выдавать, имитируя постепенное наполнение сайта?...
• Опасны ли массовые nofollow-ссылки с одинаковых сайтов-дублей?
Вижу, что с одинаковым текстом и прямым анкором на мой сайт стали появляться ссылки с сайтов, сделанных под копирку 1 в 1 и одинаковым контентом...
• Влияет ли микроразметка на релевантность страницы?
Если добавить микроразметку Article это как-то повлияет на релевантность документа в Google? И влияет ли вообще наличие микроразметки напрямую на документ или может повлиять только...
• Какое количество карточек товара должно быть на одной странице пагинации?
Существует ли "идеальное" количество карточек товара на одной странице пагинации? Сколько должно загружаться по умолчанию и по сколько подгружаться? Ответ Нет, идеального количества карточек товара...

---

Дария

SEO-аналитик

В SEO нравится возможность работать в различных ситуациях.
Всегда привлекала командная работа.

Увлекаюсь хореографией, настолками, сериалами и фильмами, чуть-чуть играю в волейбол и настольный теннис.

Девиз: Человек сам прокладывает свой путь

dariya@siteclinic.ru

Оцените мою статью: 

(2 оценок, среднее: 5,00 из 5)