Нужны ли отдельные правила в robots.txt для Google и Яндекс?

Подскажите, в robots.txt есть смысл отдельно для робота яндекса и робота гугл все расписывать или это не обязательно? И почему большинство сайтов составляют отдельные рекомендации?

Ответ

Если у вас нет никаких различий в ограничениях для разных роботов поисковых систем, то прописывать отдельно директивы в файле robots.txt не нужно.

Файл robots.txt можно создавать отдельно для Яндекс, для Google и для остальных роботов-краулеров. Делать это надо только в случае если необходимо прописать директивы, предназначенные только для определенных Поисковых систем, а также если мы хотим разрешить/запретить обход разделов или отдельных страниц сайта для конкретных ПС.

Разные поисковые роботы интерпретируют синтаксис файлов robots.txt по-разному.
Хотя роботы основных поисковых систем следуют правилам в файле robots.txt, каждый из них может интерпретировать их по-своему. Поэтому иногда для перестраховки вебмастеры пишут отдельно рекомендации для разных систем.

Перед тем, как приступить к настройке файла robots.txt для вашего сайта, рекомендуем ознакомиться с официальными рекомендациями Яндекс и Google.

Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓

Задать свой вопрос

Подписаться на рассылку

Еще по теме:

Что делать с большим количеством обнаруженных редиректов?

Google Search Console показывает очень много редиректов (7к). Я нашёл закономерности в URL некоторых редиректов и они не все могут быть устранены. Если я эти...

Что делать со страницами c get-параметрами?

Есть сайт агрегатор. На карточку какой-либо компании с некоторых страниц идут простые ссылки, а с некоторых ссылки с параметром (например: /url-kartochki?idcomp=1) Как лучше указать в...

Как правильно составлять файл robots.txt?

Как правильно составлять файл robots.txt? Есть ли страницы и разделы, которые нужно обязательно закрывать в этом файле? Как правильно это сделать? Ответ Чтобы правильно составить...

Как составлять файл robots.txt и sitemap.xml для мультиязычного сайта (подпапки)?

Как составлять файл robots.txt и sitemap.xml для мультиязычного сайта (подпапки)? Ответ Файл robots.txt Для мультиязычного сайта нужно убедиться, что вы не блокируете доступ к любой...

Почему страницы получают статус «Проиндексировано, несмотря на блокировку в файле robots.txt»?

В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить...