Неутомимая в своих инновациях компания Google разработала и сейчас тестирует новый поисковый движок. Впервые об этом в официальном блоге компании сообщил ее главный инженер Мэтт Катс. По его словам, Google Caffeine быстрее обрабатывает запросы и дает более точные результаты.

Секретный проект Google

Как утверждает Мэтт Катс, команда Google работала над этим проектом в обстановке повышенной секретности несколько последних месяцев. Пока проект носит рабочее название Caffeine ("Кофеин"). 10 августа Google попросил владельцев сайтов, а затем и всех желающих пользователей протестировать его новый поисковый механизм. Разработчиков более всего интересуют различия между ныне работающей и новой версией. По утверждению программистов Google, новая версия поискового движка отличается улучшенной системой индексирования, возросшей скоростью обработки поисковых запросов, обновленным поисковым роботом (теперь он умеет анализировать большее количество информации за единицу времени), а также переработанным алгоритмом ранжирования страниц в результатах поиска. Механизм Caffeine, говорят в Google, кардинально меняет архитектуру поиска, сокращая размер поискового индекса, увеличивая скорость и улучшая полноту выдаваемых результатов.

Протестировать "Кофеин" можно в "песочнице" по адресу www2.sandbox.google.com. В Google попросили всех участников тестирования сообщать о любых отклонениях от ожидаемой поисковой выдачи. К примеру,о случаях, когда какие-то страницы неожиданно резко поднялись в списке результатов, а какие-то оказались нерелевантны заданному запросу. На странице с поисковыми результатами размещена специальная ссылка, нажав на которую, можно отправить разработчикам свой комментарий.

Личный опыт

Итак, тестируем. Сразу замечу, что по дизайну стартовая страница "Кофеина" практически не отличается от традиционной. Для начала я выбрал банальное слово "Минск". Отличия в скорости действительно есть: стандартный поисковик обработал запрос за 1,01 секунды, а "Кофеин" - за 0,13 сек. Впрочем, не думаю, что эта разбежка действительно важна для кого-то из пользователей.

Но вот поисковая выдача Caffeine оказалась заметно более релевантной. "Обычный" поисковый механизм в первой десятке ссылок поведал мне о погоде в Минске, о новостях, в которых упоминается Минск, об автопробеге Минск-Магадан-Минск (всю жизнь мечтал!) и о том, где в Минске можно купить автозапчасти. Заодно пригласили пообсуждать что-то на минских форумах. Итого: в первой десятке - ни одной полезной ссылки!

"Кофеин" оказался намного более конкретен. Первая ссылка - Минск в Википедии, вторая - официальный сайт Мингорисполкома, третья - ссылка на сайт Mensk.by. Далее - Минск в новостях, минский городской портал, блог Минска, телефонный справочник Минска, национальный аэропорт Минск, гостиницы в Минске, погода в Минске. Как видим, практически все ссылки окажутся востребованы, особенно тем, кто собирается впервые посетить белорусскую столицу.

А вот подборка картинок, идущих перед списком ссылок, оказалась идентичной в обоих случаях. Кроме того, "обычный" поисковик Google выдал 8.270.000 ссылок, а "Кофеин" - 13.100.000. Это при том, что в Google утверждают: по большинству запросов новый сервис выдает меньшее количество сайтов, что связано с улучшением механизма обнаружения фальшивых и некачественных ресурсов, которые удаляются из индекса. И еще: как сказано в официальном пресс-релизе, в целом, поисковая выдача в Caffeine все же не должна серьезно измениться, так как в Google оптимизировали механизм обработки данных, а не принципы, по которым выстраиваются результаты (замечу, это несколько противоречит утверждениям Мэтта Катса). Но, как видим, все совсем не так, и результаты в новой версии поисковика существенно отличаются от стандартных в лучшую сторону.

Продолжаем тестирование. Теперь озадачим систему словом "кракозяблы". В этом случае первая дюжина ссылок в поисковой выдаче в традиционном поиске и в "Кофеине" практически не отличалась. Обычный поисковик Google за 0,25 секунды предложил ссылки на 4.240 web-страниц, а Caffeine - ссылки на 35.500 страниц за 0,27 сек.

В принципе, более высокое количество ссылок, выдаваемых Caffeine, можно объяснить тем, что новый поисковый движок также в режиме реального времени отслеживает новости и обновления на сайтах вроде Facebook и Twitter. В любом случае, можно сказать: планка качества поиска Google с появлением "Кофеина" заметно повысилась. Еще недавно на меня произвел очень хорошее впечатление майкрософтовский Bing, но Caffeine, по субъективным ощущениям, его успешно превзошел (обстоятельное сравнительное тестирование еще впереди).

А вот еще один немаловажный момент. Когда Caffeine заменит собой старый механизм поиска Google, пока неизвестно. Больше всего этот вопрос должен интересовать специалистов по поисковой оптимизации - после запуска Caffeine в качестве базового движка Google им придется "с нуля" изучать его алгоритмы и составлять новые стратегии вывода своих сайтов на высокие позиции по различным запросам.

Новая GFS

Как утверждает сотрудник Google Шон Квинлан, Google в рамках проекта Caffeine, оптимизируя инфраструктуру поисковика, полностью переделает файловую систему Google File System (GFS). Напомню, что GFS была разработана в конце 1990-х годов, и тогда ее создатели никак не предвидели объем нагрузки, который в будущем ляжет на систему. В те времена Google прежде всего требовалось сохранять и индексировать полученную от поисковых роботов информацию, так что GFS была оптимизирована для пакетной обработки данных.

Как говорят специалисты, в спецификации GFS прямо сказано: время отклика на запрос менее важно, чем обеспечение высокой пропускной способности. Однако востребованные сейчас приложения Google - как Gmail и YouTube - наоборот, требуют быстрого отклика на запросы пользователей.

Структурно GFS состоит из главного узла и блочных серверов (master node и chunkservers). Главный узел раздает запросы к серверам, которые в ответ возвращают блоки данных. Собственно, наличие только одного главного узла в Google и считают главным недостатком системы. Когда на несколько часов "валится" Gmail, Blogspot или другая служба - скорее всего, это результат проблем на главном узле. Никогда не "валится" только основной поисковый сервис, серверы которого многократно продублированы.

Лучшие против лучших

Конкуренция на рынке интернет-поиска явно обостряется. В июне корпорация Microsoft запустила удачный поисковик Bing. А недавно софтверный гигант заключил соглашение с Yahoo!, по которому Bing будет установлен на все ее сайты. За это Yahoo! на протяжении пяти лет будет получать 88% доходов от рекламы в поисковой выдаче. По данным компании Comscore, в июне поисковик Google обрабатывал 65% поисковых запросов в Интернете, Yahoo! - 19,6%, Microsoft - 8,4%.

Виктор ДЕМИДОВ