По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Обзор CMS-систем — какой движок выбрать? Часть 1
При создании сайта мы часто делаем выбор в пользу CMS. Давай попробуем разобраться, чем же обусловлен наш выбор, и как определиться с подходящим инструментом. Предисловие...
• Инструменты для анализа отображения сайта на разных устройствах
Поисковые системы учитывают поведенческие факторы как в десктопной версии, так и на мобильных устройствах, поэтому необходимо учитывать этот факт при разработке сайта (или при его...
• Какие причины постояного повторения сообщений о наличии вредоносного ПО на сайте и как их устранить?
Может кто-то встречался с подобной проблемой: сайт перенесли на новый домен (смена домена - не была связана с какими-либо причинами по SEO). Через 301 редирект,...
• Как правильно организовать страницу фильтра, если наборов фильтров очень много?
Как правильно организовать страницу фильтра на продающем сайте, если наборов фильтров очень много, стоит ли делать канонические урлы для таких страниц, что бы как-то уменьшить...
• 6 плагинов для ускорения сайта на WordPress
Плагины, которые мы рассмотрим в этой статье, необходимо использовать для того, чтобы ускорить работу сайта и, как следствие, сделать его более удобным /привлекательным для пользователей....