Как закрыть на сайте определённые страницы от краулеров типа Ahrefs?

Закрыть на сайте страницы от краулеров можно двумя способами:

• В robots.txt.
• В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow:

• вместо строки User-agent: * – укажем User-agent: AhrefsBot;
• вместо Disallow: /category/page1.html – страницу, которую Вы хотите закрыть.

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

Еще по теме:

• Как показывать остатки товаров на поддоменах в других городах без вреда для SEO?
Есть интернет-магазин с 5 поддоменами. В карточке товара отображаются остатки только в данном городе, но есть идея отображать остатки и в других городах, например, ссылкой...
• Нужны ли отдельные правила в robots.txt для Google и Яндекс?
Подскажите, в robots.txt есть смысл отдельно для робота яндекса и робота гугл все расписывать или это не обязательно? И почему большинство сайтов составляют отдельные рекомендации?...
• Какие SEO инструменты использовать для анализа и проработки скорости загрузки?
Хотим ускорить сайт и убрать базовые ошибки. Какими сервисами посоветуете пользоваться? Чем эффективнее всего заниматься при работе со скоростью загрузки? Ответ Для анализа скорости загрузки...
• Как проверить сайт на появление дублей страниц или страниц-каннибалов?
Как проверить сайт на появление дублей страниц или страниц-каннибалов? Ответ Проверить наличие дублей можно сканируя сайт парсерами, например: Screaming Frog SEO Spider Netpeak Spider Также...
• Почему у некоторых сайтов в выдаче Google двойной сниппет?
В последнее время у Google стал замечать такую "фишку": по одному запросу, например "небольшие настольные лампы" у конкурентов двойной сниппет и две страницы - общая...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)