Как найти источник дублей и что с ними делать?

Ответ

Чтобы найти источник данных ссылок необходимо:

• Просканировать сайт любым удобным краулером для обнаружения данных URL. Проверьте, ссылаются ли на них канонические страницы.
• Проанализировать файлы .htaccess или другие места, где могут быть настроены перенаправления на данные URL.
• Проверить журналы сервера для обнаружения запросов с такими URL-адресами или к ним. Это может помочь вам определить, какие ресурсы и страницы их вызывают.
• В Google Analytics проверьте переходы к этим URL, так вы сможете проследить источник переходов.
• Проверьте наличие внешних ссылок на данные URL.

Если источником данных URL являются внешние сайты и никак повлиять на их генерацию нельзя, например, эти URL генерируются в результате переходов с социальных сетей, то их стоит закрыть от индексации в файле robots.txt.

Если источником является работа движка сайта или сервера, то необходимо исправить данный баг и удалить нежелательные страницы, присвоив им 404 или 410 ответ сервера.

Если же исправить баг нельзя — то остается прописать правило в файле robots.txt, которое будет запрещать сканирование данных URL. Также можно настроить rel= «canonical» со страниц дублей на страницы оригиналы (без ?*** в конце URL).

Если у ненужных вам страниц появились внешние ссылки — настройте 301 редирект на канонические URL.

Еще по теме:

• Как бороться с дублями страниц с get параметрами?
Как решить критическую ошибку Яндекса "Найдены страницы дубли с Get-параметрами"? Ответ Для того чтобы исправить данную ошибку, можно воспользоваться несколькими способами: Закрыть от индексации URL...
• Как решить проблему дублирования страницы фильтра и страницы категории?
Была создана фильтр страница категории со своими ЧПУ, title и т. д. Но Google считает ее полной копией категории. Как лечить? Ответ В зависимости от...
• Как устранить дублирование запроса на несколько страниц?
Есть ИМ, у которого самый жирный запрос на главной странице, но под него же есть посадочная в каталоге. Понятно, что идет перебивка, но запрос +-...
• Как проверить сайт на появление дублей страниц или страниц-каннибалов?
Как проверить сайт на появление дублей страниц или страниц-каннибалов? Ответ Проверить наличие дублей можно сканируя сайт парсерами, например: Screaming Frog SEO Spider Netpeak Spider Также...
• Что делать с дублем сайта из-за индексации IP адреса?
Увидел в Гугле проиндексированный айпи адрес, вместо домена. Подскажите, как это могло произойти? Не будет ли конфликтовать основной домен с айпи адресом? Как исправить ошибку?...

---

Siteclinic

d.siteclinic@gmail.com

Оцените мою статью: 

(Пока оценок нет)