Идентификация поисковых ботов, Подскажите, как? Опции

[wizard993]

Народ, подскажите, пожалуйста. Как CMS'ки (к примеру тот же AntiSlaed) идентифицируют поисковых ботов? Как система понимает, что вот этот юзер - совсем не юзер, а поисковая машина? Интересен сам алгоритм.

Читал где-то в интернете, вроде даже на хабре, что можно по юзер-агенту определять. Однако, есть сведения, что это не всегда работает. (Не для всех ботов)

P.S. и ещё, если можно, скажите в каком направлении рыть. Где в AS / KiVi / Eleanor код, отвечающий за эту проверку?

Сообщение отредактировал wizard993: Jul 26 2011, 17:25

[Sunvas]

Читал где-то в интернете, вроде даже на хабре, что можно по юзер-агенту определять. Однако, есть сведения, что это не всегда работает. (Не для всех ботов)

Определять можно только по заголовкам браузера, т.е. юзер_агенту. Да, работает не всегда, потому что у поисковиков есть простукивалки, которые маскируются под обычные браузеры и определяют, не сделан ли выглядит ли сайт для посиковиков и для людей по-разному. В Eleanor CMS код находится в файле core/core.php (Альфа версия) искать код:

КОД

        elseif(self::$vars['bots_enable'] and $ua)
            foreach(self::$vars['bots_list'] as $k=>&$v)
                if(stripos($_SERVER['HTTP_USER_AGENT'],$k)!==false)
                {
                    $n=self::$is_bot=$v;
                    break;
                }

[wizard993]

Sunvas, огромное спасибо!!!

Буду теперь разбираться в принципе работы.

Уже видел этот участок кода, но подумал, что возможно где-то ещё есть код.

КОД

$vars=array(#Переменные, взятые из конфига.
            //...
            'bots_list'=>'',
        ),

А сюда список ботов заносится? Если да, то откуда? Что за конфиг имеется ввиду? Ведь в генерале просто прописаны настройки подключения к БД ну и ещё несколько системных атрибутов.