Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как и чем сейчас анализировать контент на «уникальность»?
Подскажите, чем и как сейчас анализируете контент, и анализируете ли вообще на «уникальность»? Последний апдейт закрывает аpi для поиска через гугл по всему интернету, так...
• Какие элементы интерфейса в мобильной версии мешают пользователю и как их определить?
Какие элементы интерфейса могут "мешать" мобильному пользователю и как это понять? Ответ Есть несколько элементов интерфейса, которые могут негативно влиять пользовательский опыт и ранжирование сайта:...
• Что делать со страницей, если у ПС изменился интент выдачи по запросу?
У ПС изменился интент выдачи, т.е. вначале по запросу выводились коммерческие страницы, потом коммерция и инфо, теперь большинство инфошных страниц в ТОПе. Что делать с...
• Какой тип микро разметки делает расширенный сниппет в выдаче Google?
Какой тип микро разметки делает большой расширенный сниппет в выдаче Google (например, содержит несколько ссылок на категории товаров или услуг)? И можно ли его настроить...
• Как и где искать ключи и запросы с потенциальным трафиком?
Как искать будущие ВЧ ключи и запросы с потенциальным трафиком? Или лучше ориентироваться на уже имеющиеся запросы с частотой? Ответ Мы вам советуем ориентироваться на...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)