Нужны ли отдельные правила в robots.txt для Google и Яндекс?

Ответ

Если у вас нет никаких различий в ограничениях для разных роботов поисковых систем, то прописывать отдельно директивы в файле robots.txt не нужно.

Файл robots.txt можно создавать отдельно для Яндекс, для Google и для остальных роботов-краулеров. Делать это надо только в случае если необходимо прописать директивы, предназначенные только для определенных Поисковых систем, а также если мы хотим разрешить/запретить обход разделов или отдельных страниц сайта для конкретных ПС.

Разные поисковые роботы интерпретируют синтаксис файлов robots.txt по-разному.
Хотя роботы основных поисковых систем следуют правилам в файле robots.txt, каждый из них может интерпретировать их по-своему. Поэтому иногда для перестраховки вебмастеры пишут отдельно рекомендации для разных систем.

Перед тем, как приступить к настройке файла robots.txt для вашего сайта, рекомендуем ознакомиться с официальными рекомендациями Яндекс и Google.

Еще по теме:

• Как вернуть трафик и страницы в индекс, если в robots был случайно закрыт весь раздел блога?
Случайно был закрыт от индексации раздел со статьями (блог) в robots.txt. Как результат: из Google выпал весь раздел блога (все страницы), трафик ощутимо упал. Как...
• Директива Clean-param: когда и как применять, как она работает
Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли...
• Критично ли не использовать тег canonical и закрывать страницы пагинации в файле robots.txt?
Расскажите, пожалуйста, насколько критично не использовать тег canonical и закрывать страницы пагинации в файле robots.txt. Хочется выяснить больше нюансов и принять решение, стоит ли вносить...
• Как составлять файл robots.txt и sitemap.xml для мультиязычного сайта (подпапки)?
Как составлять файл robots.txt и sitemap.xml для мультиязычного сайта (подпапки)? Ответ Файл robots.txt Для мультиязычного сайта нужно убедиться, что вы не блокируете доступ к любой...
• Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt»
Как исправить ошибку: "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC? Из-за чего она возникает? Насколько она критична? Ответ Для поисковой системы Google в...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(1 оценок, среднее: 5,00 из 5)