Ответ
Если у вас нет никаких различий в ограничениях для разных роботов поисковых систем, то прописывать отдельно директивы в файле robots.txt не нужно.
Файл robots.txt можно создавать отдельно для Яндекс, для Google и для остальных роботов-краулеров. Делать это надо только в случае если необходимо прописать директивы, предназначенные только для определенных Поисковых систем, а также если мы хотим разрешить/запретить обход разделов или отдельных страниц сайта для конкретных ПС.
Разные поисковые роботы интерпретируют синтаксис файлов robots.txt по-разному.
Хотя роботы основных поисковых систем следуют правилам в файле robots.txt, каждый из них может интерпретировать их по-своему. Поэтому иногда для перестраховки вебмастеры пишут отдельно рекомендации для разных систем.
Перед тем, как приступить к настройке файла robots.txt для вашего сайта, рекомендуем ознакомиться с официальными рекомендациями Яндекс и Google.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- Директива Clean-param: когда и как применять, как она работает Прилетело на несколько сайтов сообщение в Яндекс Вебмастере о том, что некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Нужно ли...
- Что делать со страницами c get-параметрами? Есть сайт агрегатор. На карточку какой-либо компании с некоторых страниц идут простые ссылки, а с некоторых ссылки с параметром (например: /url-kartochki?idcomp=1) Как лучше указать в...
- Robots.txt VS ‹meta name= «robots» content= «noindex» › : что выбрать и когда использовать Почему многие крупные сайты добавляют так много правил в robots.txt, если есть большая вероятность, что эти страницы попадут в индекс. Почему сразу не использовать ‹meta...
- Как исправить ошибку: «Проиндексировано, несмотря на блокировку в файле robots.txt» Как исправить ошибку: "Проиндексировано, несмотря на блокировку в файле robots.txt" в GSC? Из-за чего она возникает? Насколько она критична? Ответ Для поисковой системы Google в...
- Почему страницы получают статус «Проиндексировано, несмотря на блокировку в файле robots.txt»? В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить...
Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Наблюдаем стремительный и уверенный рост трафика"
Пилицын Василий Сергеевич
Seatscan.ru"Помогли моему сайту выйти из-под фильтра Яндекса"
Ольга Куракина
Dogscat.com"Сайт был выведен из-под фильтра за 3,5 месяца"
Игорь Логинов
Stomed.ru