Добрый день.
есть сайт https://logist.ru

До января этого года сайт представлял собой статические html страницы и форум на старинном движке YaBB (Perl+текстовые файлы в качестве БД). В прошлом году была задумана его реорганизация. На данный момент сайт функционирует на Drupal-7. И вот какая проблема возникла:

раньше форум YaBB находился в директории logist.ru/forum/. После установки Drupal весь старый форум был перенесен в директорию logist.ru/archive/ и сейчас все разделы и темы форума представляют собой урлы вида https://logist.ru/archive/YaBB.cgi?board=law (это раздел форума) или https://logist.ru/archive/YaBB.cgi?board=law;num=1150272341 (это тема форума)
В это же время средствами самого Drupal создается новый форум со ссылками вида https://logist.ru/forum/obshchaya-diskussiya это ЧПУ, созданные Drupal. Собственно директории (папки) forum на сайте больше не существует.
а в .htacess было прописано следующее:
RewriteCond %{REQUEST_URI} (YaBB.cgi|YaBB.pl)
RewriteCond %{REQUEST_URI} !archive
RewriteRule ^forum(.*)$ /archive$1 [R=301,L]
В файле robots.txt никаких запретов на индексацию нет.
Форум YaBB уже в новой директории https://logist.ru/archive/YaBB.cgi был переиндексирован яндексом.
Теперь о главном:
В результате этих махинаций примерно неделю назад яндекс выкинул из поиска весь старый форум. В Яндексвебмастере мы видим следующее:
https://clip2net.com/s/4YjXpT
https://clip2net.com/s/4Yk1np
Ответ Платона на проблему:
Указанные страницы пропали из результатов поиска, так как их контент представлен также на других страницах Вашего сайта. Например, контент на странице https://logist.ru/archive/YaBB.cgi совпадает с контентом страницы https://logist.ru/archive/YaBB.cgi? (с символом "?" в адресе).

Рекомендую Вам разместить на дублирующих страницах атрибут rel="canonical" тега с указанием канонического адреса, по которому эти страницы должны индексироваться, или установить 301 перенаправление с дублирующих страниц на требуемые. По мере обхода сайта робот отследит эти изменения, и необходимая Вам страница вернется в результаты поиска.
Вот тут я не совсем понял, что мне хотели сказать, ибо https://logist.ru/archive/YaBB.cgi - главная страница форума, а все варианты https://logist.ru/archive/YaBB.cgi? (с символом ? в адресе) это разделы, темы и страницы форума. На второй запрос по прояснению этого яндекс ничего пока не ответил.
Собственно прошу помочь – как быть, что делать?

по "симптомам" похоже на АГС, как я понимаю. и еще такой вопрос - если сайт попадает под АГС или под другой фильтр, то Платон Щукин в письме об этом скажет или нет?

еще обнаружились два запаркованных домена. При проверке в яндексе выдается следующее

UPD. сейчас уточнил у тех, кто плодил домены. домены есть, но хостингов и процего под доменами нет. Хостерам вроде говорили на всех доменах сделать переадресацию или перенаправление на логист.ру то есть, в адресной строке (как я понял) стоит e-moe.info а по факту отображается страница logist.ru

но про эти домены ТП Яндекса ничего не пишет и эти домены в таком виде уже несколько лет.

Здравствуйте, Алекс, Ваша проблема разбирается, ответ будет сформирован ориентировочно в понедельник.
Также просим Вас, если Яндекс даст второй ответ, выложите его сюда. Заранее спасибо.

Здравствуйте, Алекс, Ваша проблема разбирается, ответ будет сформирован ориентировочно в понедельник.
Также просим Вас, если Яндекс даст второй ответ, выложите его сюда. Заранее спасибо.

Добрый день, Анна. Если яндекс даст второй ответ (я им писал второе письмо 22 апреля) я обязательно его выложу.

 

текст моего второго письма

а как контент страниц https://logist.ru/archive/YaBB.cgi и https://logist.ru/archive/YaBB.cgi? может совпадать, если после знака вопроса должны стоять обозначения тем форумов (например https://logist.ru/archive/YaBB.cgi?board=forum2009) в которых контент совершенно другой. этот форум у нас стоит с 2002 года и еще неделю - полторы назад все было нормально. Таких сайтов же масса, где конечная страница выглядит как "site.ru/script.php?параметры".  может ли быть проблема в чем-то другом? 

и еще уточнение по поводу Платоновской фразы

Например, контент на странице https://logist.ru/archive/YaBB.cgi  совпадает с контентом страницы  https://logist.ru/archive/YaBB.cgi?  (с символом "?" в адресе). 

после знака вопроса должны быть параметры, указывающие на раздел, тему и т.д. если просто перейти по этой ссылке  https://logist.ru/archive/YaBB.cgi?  то движок будет считать, что конкретных параметров раздела и темы не указано и соответственно отобразит главную страницу форума.

нашел еще такой косяк – в темплейте форума Yabb в теге <title> должна была быть переменная <yabbtitle> но вместо нее кто-то забил в title словами «Логист.ру». То есть у всех страниц форума title был одинаковый.

Могло это стать причиной схлопывания форума до 1 страницы?

Сейчас заменил статичный title на родной и отправил страницу форума на индексацию.

 

И еще допинформация: в темплейте форума Yabb есть 2 iframe (они подтягивают динамическую информацию из Drupal – теги и пользовательскую инфомрацию). При этом там один фрейм с динамической высотой и для отображения используется JS предложенный Дмитрием Котлеровым (считает высоту содержимого). И в этом скрипте была такая фича, что в IE при переходе по ссылкам форума сперва начинала подгружаться нужная тема, а после подсчета высоты фрейма переход отменялся и пользователь оставался на странице https://logist.ru/archive/YaBB.cgi/#h470 (#h470 – это добавление высоты в 470 пикселей для отображения в IE). В остальных браузерах переходы были нормальными.

Могло ли быть так, что именно в этот 2-3 дневный период (пока мы не устранили этот косяк) робот яндекса зашел на сайт и не смог перейти на внутренние страницы форума? (хотя вроде яндексробот представляется как mozilla)

Платон Щукин включил режим "моятвоянепонимать"

 [ logist.ru ]
 https://logist.ru/archive/YaBB.cgi
 https://logist.ru/archive/YaBB.cgi?board=law;num=1106778379

 добрый день. форум на сайте Логист.ру https://logist.ru/archive/YaBB.cgi выпал из индексации.
 https://clip2net.com/s/4W0OCx
 Раньше в индексе находились отдельные ветки и сообщения на форуме типа https://logist.ru/archive/YaBB.cgi?board=law;num=1106778379 и т.д.
 недавно мы делали реструктуризацию сайта (в частности был установлен друпал-7), но старый форум по-прежнему находится в той же папке где и был.

 подскажите что можно сделать чтобы вернуть старый форум в поисковую выдачу

ОТВЕТ:

 

Указанные страницы пропали из результатов поиска, так как их контент представлен также на других страницах Вашего сайта. Например, контент на странице https://logist.ru/archive/YaBB.cgi совпадает с контентом страницы https://logist.ru/archive/YaBB.cgi? (с символом "?" в адресе).

Рекомендую Вам разместить на дублирующих страницах атрибут rel="canonical" тега <link> с указ и далее по тексту

УТОЧНЯЮЩИЙ МОЙ ВОПРОС:

 а как контент страниц https://logist.ru/archive/YaBB.cgi и https://logist.ru/archive/YaBB.cgi? может совпадать, если после знака вопроса должны стоять обозначения тем форумов (например https://logist.ru/archive/YaBB.cgi?board=forum2009) в которых контент совершенно другой. этот форум у нас стоит с 2002 года и еще неделю - полторы назад все было нормально. Таких сайтов же масса, где конечная страница выглядит как "site.ru/script.php?параметры".  может ли быть проблема в чем-то другом?

ОТВЕТ:

 

В предыдущем письме приводились в пример именно две страницы: https://logist.ru/archive/YaBB.cgi и
https://logist.ru/archive/YaBB.cgi?

Если Вы откроете их, то увидите, что это - страницы с полностью совпадающим контентом, но с различными адресами.

Мы проверили, Ваш сайт присутствует в поиске и находится пользователями. Но часть страниц, действительно, отсутствует в результатах поиска, при этом никаких санкций на них не наложено.

Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ дальше там блабла мы работаем чтобы все улучшить.

как их робот умудрился попасть на страницу YaBB.cgi? при том что такой страницы быть не может - загадка

я им писал еще одно письмо с вопросом про одинаковые <title> и про фреймы. про титлы ответ пришел, а про фреймы не заметили вопрос.

ОТВЕТ:

Наличие одинакового тега <title> не должно влиять на индексирование страниц сайта и их присутствие в поиске.

после препирательств Яндекс выдал следующее:

Как я писал Вам ранее, я рекомендую на дублирующих страницах, например, таких как https://logist.ru/archive/YaBB.cgi? установить в их HTMl-коде атрибут rel="canonical" тега <link> с указанием их канонического адреса, либо, например, установить 301 перенаправление на страницу https://logist.ru/archive/YaBB.cgi . Это укажет индексирующему роботу, по какому адресу контент страницы должен находится в поисковой выдаче.

 

то есть ничего другого от них не дождешься. Атрибут каноникал у нас отпадает, потому что нет отдельной страницы https://logist.ru/archive/YaBB.cgi?

Остается редирект, и тут возникает вопрос как его правильно прописать, потому что конструкция https://logist.ru/archive/YaBB.cgi? у нас присутствует во всех разделах и темах форума.