Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как поисковые системы реагируют на сильный переспам в меню сайта и можно ли за это получить фильтр?
Насколько критично поисковые системы реагируют на сильный переспам в активных элементах? Сильно расширили меню на сайте (плотность по отдельному слову возросла с 15 до 50...
• Как отразится с точки зрения SEO удаление «мертвых страниц» из интернет-магазина?
Как отразится с точки зрения SEO удаление так называемых "мертвых страниц" из интернет-магазина, которые уже 2 года находятся в статусе "нет в наличии" и висят...
• Как продвигать новый сайт по НЧ и СЧ запросам?
Как продвигать сначала НЧ и СЧ а потом ВЧ? В моей товарной нише много агрегаторов и монстров. Посмотрел ролики SEO гуру. Они рекомендуют сначала продвигать...
• Сколько времени должно пройти после Google August 2025 spam update, чтобы начать анализ причин просадки трафика?
22.09 Google закончился August 2025 spam update.14.09 на сайте медицинской тематики была зафиксирована просадка по трафику (в 1.5 раза) и позициям (в 5 раз). Дополнительно...
• Работают ли длинные тексты с LSI в Google?
Нет наблюдений, что длинные тексты с LSI стали хуже работать в сравнении с узкозаточенными на интент? Т.е. запросный индекс стал больше важен для ресурса в...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)