По каким причинам тестовый сайт мог попасть в индекс и что делать в таком случае?

Ответ

Сам по себе файл Robots.txt является рекомендацией для Google и в ряде случаев его правила могут игнорироваться. Самые частые ситуации, почему тестовый сайт мог попасть в индекс:

• Бот просканировал его до установки запрета.
• Есть или были внешние ссылки на него, в том числе оставленные косвенными способами. Например, из документов, которые открыты для интернета, и ссылки на эти документы есть в сети.
• В sitemap актуального сайта могли быть также ссылки на тестовый домен.

Если уже попал в индекс, тогда необходимо сделать такие действия:

1️⃣ Добавьте meta-тег на все страницы тестового сайта.

2️⃣ В Google Search Console используйте инструмент «Удаление url» для быстрого удаления из индекса.

3️⃣ Проверьте основной сайт на предмет внутренних ссылок на тестовый домен или поддомен и удалите их. А также проанализируйте, откуда могли взяться внешние ссылки, и попробуйте их снять.

Еще по теме:

• Все на капремонт, или Не пора ли вам делать редизайн сайта?
Время от времени редизайн нужен сайтам практически любой тематики. Прочитав эту статью, вы поймете, в чем польза редизайна, пора ли обновлять ваш сайт и на...
• Какие возможные последствия, если на сайте убрать функционал корзины и сделать форму заявки на получение оптового прайса?
Есть сайт интернет-магазин, с большим каталогом товаров, нацеленный на мелкий опт(принимаются заказы только от 300-400 $). В листинге товаров, есть кнопка быстрого добавления в корзину,...
• HTTP-заголовки, которые влияют на SEO
Скорее всего, вы знаете, что при открытии страницы любого сайта происходят действия на сервере, которые не видны пользователям. Однако эти данные обрабатывают поисковые системы. И...
• Влияет ли домен на продвижение? Инструкции по выбору домена для сайтов
Содержание: Как доменное имя влияет на продвижение? Влияет ли кириллический домен на продвижение? Влияет ли доменная зона на продвижение? Какой возраст домена считается хорошим для...
• Почему через оператор site страницу не находит в поиске Google?
По данным Google вебмастера страница есть в индексе, но через оператор site:site.com "название товара" не находит в поиске. Почему такое может быть? Ответ То, что...