Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как привлечь трафик монобрендовым маленьким магазинам?
Есть монобрендовый ИМ, товара не так много. Боимся, что большие магазины задавят нас своим ассортиментом. Как привлечь трафик маленьким магазинчикам и стоит ли вообще этим...
• Может ли Google менять релевантную страницу из-за каннибализации запросов?
Google раз в два дня меняет релевантную страницу: то главная, то внутренняя, то снова главная. Что делать как быть? Может ли быть связана эта ситуация...
• Влияет ли смена дизайна или темы CMS на ранжирование сайта в Google?
Влияет ли смена дизайна или смена темы CMS на ранжирование сайта в Google без изменения контента (или минимальные изменения) и URL? Ответ Смена дизайна или...
• Влияет ли слайдер товаров в статьях блога на позиции категорийных страниц?
Может ли слайдер товарных позиций в статьях блога положительно повлиять на позиции категорийных страниц? При каких условиях рост позиций страниц категорий более вероятен? Ответ Блог...
• Что такое спамная ссылка для Google?
Как Google определяет спамные ссылки? Со всеми этими спам апдейтами Google, решил отказаться от крауд ссылок и аренды. Хочу перейти чисто на самые жирные ссылки...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)