Ответ
Если страницы открываются и загружаются для пользователей и что самое важное, для поисковых систем – никаких проблем с ранжированием сайта не будет. Это самое важное.
В данное случае проблема может быть в из-за двух моментов:
- Проблемы в работе программы/компьютера. Попробуйте обновить программу до последней версии. Удалите и установите программу заново. Попробуйте установить программу на другом компьютере и попробовать сканировать нужный сайт с него.
- Настройки сервера/хостинга. Какое бы количество потоков вы не устанавливали, более продвинутые сервера могут точно определить, кто запрашивает страницу, человек или программа. Скорее всего, проблема именно в этом. Вы можете написать в СП хостинга и установить список разрешенных IP адресов, с которых будет доступен «безлимитный» доступ к сайту. После этого ошибка исчезнет, какое количество потоков вы бы не использовали.
Если это сайт конкурента – попробуйте скачать сайт через прокси. Иногда бывает, что прокси крупных городов добавлены в списки «слабо ограничиваемых». Сперва попробуйте бесплатные, потом можете купить парочку платных. Но если у вас ничего не получится – значит сайт конкурента хорошо позаботился о своей безопасности и не хочет, чтобы «лишние глаза» изучали сайт.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Еще по теме:
- «Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают» — как решить ошибку? Канонические версии страницы, выбранные Google и пользователем, не совпадают. Почему возникает ошибка и как с ней бороться? Ответ Чаще всего ошибка «Страница является копией. Канонические...
- Может ли Cloudflare повлиять на сканирование и индексирование сайта? Подскажите, пожалуйста, чем может обернуться подключение Cloudflare или других скриптов для защиты от DDOS или накрутки? Есть версии, что подобные скрипты могут мешать сканированию сайта...
- Как автоматизировать проверку индексации страниц? Какими сервисами можно быстро узнать, какие области на сайте открыты для индекса, а какие нет? Или только через код смотреть вручную можно? Ответ Если речь...
- Скрывать ли страницы фильтров от индексации поисковыми системами? Нужно ли скрывать страницу фильтра /filter в robots.txt? Может ли поисковый краулер сгенерировать все страницы, который может выдать фильтр? Или пока на эти страницы не...
- Стоит ли закрывать страницы пагинации от индексации? Что делать, если количество страниц пагинации в каталоге в некоторых категориях более 1000? Есть ли какой-то лимит? Стоит ли оставлять как есть или как оптимизировать...
nikita.d@siteclinic.ru
Оцените мою статью:
(Пока оценок нет)Есть вопросы?
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
Отзывы клиентов:
"Ответы, которые реально помогли в работе"
Анатолий
Photoboom.ua"Ощутимый рост позиций после второго апа"
Абрамов Дмитрий Сергеевич
Dvermezhkom-service.ru"Здесь можно реанимировать сайт даже со страшным диагнозом"
Денис Кушнир
Aden-stroy.ru
