По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Как правильно и эффективно составлять атрибут Alt?
Как составлять АЛЬТЫ? Какой процент альтов включает ГЗ? Какая должна быть длина, какой контекст? Ответ Чтобы атрибут Alt был эффективен как для пользователей, так и...
• Каким должно быть ТЗ по SEO для разработчиков при создании сайта?
Что при создании сайта должно содержаться в техническом задание для разработчиков со стороны SEO? Ответ Техническое задание для разработчиков должно содержать следующие разделы, которые касаются...
• ТЗ на разработку сайта. Коротко о главном
Несмотря на то, что обычно идея создать сайт приходит одному человеку, на деле создание сайта - это коллективное творчество. В данной статье рассмотрим принципы создания...
• Как посмотреть тип рендеринга на странице и влияет ли обработанный html-код на ранжирование сайта?
Как быстро посмотреть какой тип рендеринга на странице? Влияет ли обработанный html-код на ранжирование сайта? Ответ Чтобы быстро посмотреть тип рендеринга на странице, используйте Google...
• Как закрыть от индексации тестовый SPA сайт и выкинуть из индекса страницы?
Есть тестовый SPA сайт. Программисты его изначально не закрыли от индексации. Сейчас очень много страниц сайта попало в индекс. Как правильно сделать, чтобы и сайт...