Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Допустимо ли использовать ссылки на главную страницу только с сабмитов и форумов?
Подскажите, в условиях не очень большого ссылочного бюджета допустимо ли, что ссылки на главную будут только с сабмитов и форумов? Или нужно статьями тоже это...
• Нужно ли добавлять слова «интернет-магазин» в метатеги коммерческого сайта?
Есть ли необходимость в название сайта добавлять слова "интернет-магазин", чтобы потом эти слова появлялись в заголовках браузера и соответственно в поисковой выдаче. Или просто указывать...
• Могут ли покупные ссылки выпадать из индекса со временем и надо ли это мониторить?
Могут ли покупные ссылки выпадать из индекса со временем? Нужно ли мониторить время от времени индекс покупных ссылок и как это сделать? Ответ Покупные ссылки...
• Надо ли делать первую страницу листинга обязательно со статичным списком товара?
Нужно ли делать первую страницу листинга обязательно со статичным списком товара? Или когда при добавлении новых периодически будет меняться наполнение (товарная сетка) — это не...
• Может ли сайт просесть после модернизации дизайна и обновления текстов и как лучше поступить?
Сайт услуг хорошо ранжируется по нужным ключам. Но дизайн давно устарел и контент состоит в основном из простыней текста. Есть желание модернизировать его, сделать современный...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)