Нужны ли отдельные правила в robots.txt для Google и Яндекс?

Ответ

Если у вас нет никаких различий в ограничениях для разных роботов поисковых систем, то прописывать отдельно директивы в файле robots.txt не нужно.

Файл robots.txt можно создавать отдельно для Яндекс, для Google и для остальных роботов-краулеров. Делать это надо только в случае если необходимо прописать директивы, предназначенные только для определенных Поисковых систем, а также если мы хотим разрешить/запретить обход разделов или отдельных страниц сайта для конкретных ПС.

Разные поисковые роботы интерпретируют синтаксис файлов robots.txt по-разному.
Хотя роботы основных поисковых систем следуют правилам в файле robots.txt, каждый из них может интерпретировать их по-своему. Поэтому иногда для перестраховки вебмастеры пишут отдельно рекомендации для разных систем.

Перед тем, как приступить к настройке файла robots.txt для вашего сайта, рекомендуем ознакомиться с официальными рекомендациями Яндекс и Google.

Еще по теме:

• Как правильно составлять файл robots.txt?
Как правильно составлять файл robots.txt? Есть ли страницы и разделы, которые нужно обязательно закрывать в этом файле? Как правильно это сделать? Ответ Чтобы правильно составить...
• Почему страницы получают статус «Проиндексировано, несмотря на блокировку в файле robots.txt»?
В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить...
• Директива Clean-param: когда и как применять, как она работает
Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли...
• Robots.txt VS ‹meta name= «robots» content= «noindex» › : что выбрать и когда использовать
Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta...
• Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt»
Как исправить ошибку: "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC? Из-за чего она возникает? Насколько она критична? Ответ Для поисковой системы Google в...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(1 оценок, среднее: 5,00 из 5)