Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Откуда могла появиться техническая ошибка с заглавными буквами в url-адресе?
С недавнего времени в вебмастере начали появляться странные url-адреса, написанные капсом. То есть, был стандартный url адрес - хххххх, а через время вебмастер показывает этот...
• Запуск интернет-магазина: как подготовить сайт к открытию?
Запускаем интернет-магазин, полностью с нуля, какой подход более верный: до открытия индексации постараться заполнить meta title, description или открыть индексацию и в процессе оптимизировать meta...
• Схема перелинковки для ИМ: что с чем и как линковать?
Какую схему перелинковки использовать для ИМ на 200 000 товаров? Какие страницы между собой обязательно стоит линковать и как? Ответ При построении эффективной перелинковки интернет-магазина...
• Как сменить региональную принадлежность сайта?
Компания и её бизнес переехали из регионального центра в Москву. Как корректно «перевезти» сайт в столицу? У ресурса многолетняя история в поиске, сотни URL заточенных...
• Возможны ли санкции от ПС за резкий скачок прироста внешних ссылок?
Буквально за неделю появилось 3000 внешних ссылок на картинки моего сайта, при этом обычно закупаем или проставляем намного меньше и на страницы, никак не на...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)