Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Микроразметка для блоговых статей: какой тип и когда использовать?
Какого типа микроразметку можно использовать для блоговых статей? Поможет ли микроразметка получать расширенные сниппеты или "нулевую" позицию? Как можно еще доработать статьи, чтобы получить более...
• Чем и как проверять файл sitemap.xml?
У меня есть сайт с кириллическими урлами. Например, https://сайт.рф. Так вот, главная страница у него отлично индексируется гуглом, а вот остальные в sitemap.xml не определяются....
• Когда и как действовать после падения позиций из ТОП-10 вашего сайта и сайтов-конкурентов?
По ВЧ запросу сайт улетел за ТОП-10 вместе с прежними конкурентами. Сейчас в ТОПе ранжируются совершенно другие сайты. Подскажите, в таких ситуациях сколько времени можно...
• Можно ли перенести все статьи с одного сайта на другой и поставить 301 редирект?
Имеем два сайта: большой трастовый и маленький с невысокой посещаемостью в одной тематике. Какой эффект получу, если с маленького все статьи перенесу на большой, а...
• Как избежать переспама на странице листинга?
Как избежать переспама на странице листинга, если в каждой карточке товара по сути ключ? Плюс основные ключи должны быть еще в метатегах и текстах. Как...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)