Поисковые системы в фактах: история появления и эволюции

Сегодня поисковые системы (ПС) — естественная часть жизни каждого человека. Люди порой и не замечают, что каждый день что-либо ищут в интернете. А ведь еще сравнительно недавно ничего подобного не существовало. О том, что такое поисковые системы, когда появились и как развивались, по каким принципам работают, — в материале 24СМИ.

Поисковые системы — определение и задачи

Поисковые системы представляют собой сложные аппаратно-программные комплексы, созданные для того, чтобы совершать в интернете поиск той или иной информации. Они гибко реагируют на запросы пользователей, которые, как правило, задаются в виде текстовых фраз. Последние правильнее называть поисковыми запросами. На основе обработки этих запросов система выдает ссылочный релевантный список, из которого остается перейти на информационные источники.

Главным назначением поисковых систем считается помощь пользователям, которые ищут в Сети информацию. Но помимо этого, они предоставляют постоянно совершенствующиеся возможности для бизнеса. Чтобы эти функции работали корректно, разработчики ведут непрекращающуюся работу над совершенствованием механизмов действия этих сложнейших систем.

Принципы работы и ключевые характеристики

Поисковые системы работают в первую очередь с таким понятием, как «поисковый индекс». Под ним подразумевают ту или иную структуру данных, которая отражает информацию о различных документах и ключевых словах, в них расположенных.

Ряд поисковиков действуют по схожим принципам. Но налицо и отличия. Таковые заключаются прежде всего в том, как системы подходят к упорядочиванию тысяч ресурсов при формировании поисковой выдачи.

В целом поисковая система функционирует в 3 ключевых этапа:

• сканирует — поисковой робот проводит анализ ссылок с сайтов, содержащихся в интернете, после чего запоминает адреса найденных документов;
• индексирует — поисковик выкачивает и сохраняет в собственной базе документы, потом просматривает содержимое, чтобы сформировать на основе этого индекс;
• предоставляет результаты — для пользователя уже через доли секунды открываются пути к искомой информации, результаты запроса в поисковой системе называются результатами выдачи поисковой системы.

Для поиска в интернете выделяют ряд главных характеристик.

• Полнота. Это, пожалуй, важнейшая характеристика поиска. Она представляет собой отношение числа обнаруженных по запросу документов к общему их количеству в Сети. К примеру, в интернете присутствует 100 страниц, на которых имеется определенное словосочетание. При этом по запросу с этой фразой обработалось только 60 страниц. Соответственно, в таком случае полнота составит отношение 60 к 100, т. е. 0,6. Разумеется, чем полнее оказывается поиск, тем выше вероятность обнаружения человеком необходимого документа. Естественно, при условии наличия такового в принципе в Сети.
• Точность. Следующая важная характеристика поиска демонстрирует, насколько точно найденные страницы в интернете соответствуют запросу человека. Допустим, пользователь вбил в поисковую строку словосочетание, по которому нашел 100 документов. В половине из них введенная фраза присутствует, а в остальных — только ее части, отдельные слова, значки и символы. В этой ситуации соотношение 50 к 100 дает коэффициент точности 0,5. Чем этот показатель выше, тем быстрее пользователи обнаружат необходимые результаты и тем меньше будет мешать информационный мусор среди представленных ответов.
• Актуальность. Эта составляющая поиска указывает на временной промежуток между моментами появления информации в Сети и занесения в индексную базу. Например, появилась новость, интересующая большинство. Сразу же тысячи людей отправляются в интернет с соответствующим запросом. Чаще информация быстро становится доступной в поиске, при этом время после момента ее опубликования прошло небольшое. Так работают быстрые базы у крупных поисковиков, которые обновляются несколько раз в течение дня.
• Скорость поиска. Каждую секунду к поисковикам обращаются миллионы людей, что вызывает постоянную загруженность. При этом важно, чтобы роботы умели, невзирая на нагрузку, быстро обрабатывать те или иные запросы. Получается, что в этом смысле совпадают интересы пользователей и поисковиков: людям хочется как можно скорее получить искомый результат, а задача системы заключается в скорейшей обработке запроса.
• Наглядность. Если говорить об удобстве поиска, важнейшей характеристикой становится его наглядность. Часто по запросам людей обнаруживаются тысячи и даже миллионы результатов. При этом из-за некорректности составления ключевой фразы даже на первых строчках выдачи появляются ненужные сведения. Получается, человек вынужден самостоятельно проводить дополнительный поиск уже в ворохе полученных результатов запросов. Чтобы свести такие осложнения к минимуму, в ПС встраивают новые компоненты.

Многообразие современных интернет-поисковиков и их особенности

Уже давно на вершине рейтинга поисковых систем остается Google. Он умеет искать текст среди прочего и внутри PDF-файлов. Если задать режим расширенного поиска, он пойдет по файлам конкретного формата. В этой ПС предусмотрен поиск файлов в графическом формате или картинок, вдобавок доступно нахождение карты местности путем переключения по гиперссылке вверху страницы.

Сегодняшняя статистика говорит, что до 70% пользователей в мире используют как раз Google. Однако такая ситуация наблюдалась далеко не всегда, да и теперь в ряде стран на первом месте держатся иные собственные ПС. Например, в Китае работает поисковик под названием Baidu. Он хоть и не лидер для китайцев, но на его долю приходится свыше 8%.

Годами в числе мощнейших и популярнейших поисковиков держалась AltaVista. Правда, так длилось до 2003 года. Тогда ее приобрела компания Yahoo!, а позже перешла на использование поисковых технологий этого портала. Наконец, в 2013 году Yahoo! и вовсе закрыли проект. Кстати, AltaVista стала первой ПС с поддержкой русского языка.

Что касается Yahoo!, в прошлом это чуть ли не лучшая ПС среди тех, что входят в категорию общего назначения. Сегодня она тоже действует, но применяет движок Bing. Получается, ее допустимо объединить с этим поисковиком от Microsoft.

В числе русскоязычных поисковиков главным конкурентом Google сегодня считается «Яндекс». Он тоже способен находить как текстовые документы, так и карты городов и картинки. Но еще до «Яндекса» в Рунете появились иные поисковики. Например, «Апорт». Раньше в «Апорте» пользователи с комфортом искали информацию по фразам. Теперь эта ПС уже не выдерживает конкуренции, хотя до начала 2000-х стояла на первых позициях.

Любопытный поисковик — DuckDuckGo. Здесь упор сделан на конфиденциальность пользователей. Кроме того, встречаются менее известные системы. К таковым стоит отнести «Мамонт». Эта ПС из Рунета относится к категории общего назначения. Microsoft создал собственный поисковик под названием Live Search, который чаще используют для скачивания Google Chrome.

Поисковиков сегодня насчитываются сотни по миру, среди них попадаются как системы общего назначения, так и узкоспециализированные. А ведь некогда такого разнообразия не было.

Первые поисковые системы в мире

Еще в начале 1990-х годов у людей попросту не существовало привычки по каждому вопросу обращаться к компьютерам, коих тоже еще толком ни у кого не было. Когда же персональные компьютеры стали постепенно распространяться, пользователи чаще узнавали о ссылках на полезные сайты у знакомых, а потом копили их в отдельных текстовых файлах.

Потом человечество узнало о сайтах-каталогах со встроенными рубрикаторами, которые приходилось пополнять вручную. Так изначально выглядел, например, Yahoo!. Его в те годы вел и хранил лично изобретатель Тим Бернерс-Ли. Поисковые системы в привычном сегодня виде еще не появились. Первой таковой признается Archie, которая стала работать с 1990 года.

Archie представлял собой архив, в котором хранились скачиваемые каталоги сайтов. Вдобавок пользователь вел по ним поиск. Archie создали студенты из Монреаля. Их детище не умело индексировать содержимое сайтов. Такая технология увидела свет позже — в 1993 году. Речь идет о появлении таких ПС, как JumpStation или ALIWEB. В итоге JumpStation оказалась первым поисковиком в том виде, как его понимают сегодня — роботы собирали ссылки, ранжировали их и выдавали результаты в соответствии с запросами.

1994 год ознаменовался появлением уже упомянутой выше AltaVista. Это первая поисковая система, рассчитанная на естественные языковые запросы. Наконец, впервые поистине мощный поисковик под названием WebCrawler уже научился целиком индексировать содержимое страниц.

Дальнейшее развитие поисковиков

В 1996 году пара студентов в Стенфорде принялись изучать, по каким принципам информация размещена в интернете. Молодых людей звали Сергей Брин и Ларри Пейдж. Они хотели, чтобы поисковые системы научились анализировать сайты и ранжировать их с учетом того, сколько раз те или иные используемые при поиске слова появляются на страницах.

Исследования привели к тому, что родился алгоритм анализа ссылок под названием PageRank. Он в итоге и стал основой нового поисковика Google, дав возможность определять при выдаче важность сайтов. С помощью этого алгоритма стало удобнее выявлять те или иные требуемые сайты. Люди поняли, что в Google результаты полезнее, чем на иных ПС. Пользователи принялись один за другим присоединяться к Google, а остальным поисковикам оставалось наверстывать упущенное.

По состоянию на 2002 год Google оказался лидером на рынке. А с 2004 года его доля постоянно возрастает, при этом компания не сидит на месте и выдает новые продукты.

Так, однажды разработчики запустили AdSense. При помощи этого сервиса вебмастера стали размещать рекламу Google на своих сайтах. В итоге это подтолкнуло продвижение ресурсов, а вебмастерам потекла выручка в виде оплаты за каждое нажатие пользователей по рекламе.

В следующем году компания Yahoo! выкупила такие ПС, как AltaVista, Inktomi, AllTheWeb и Goto. А еще через год обзавелась собственным полноценным поиском.

В 2006 году Google приобрел видеохостинг YouTube. Впрочем, по сей день компания испытывает с ним сложности. Например, постоянно экспериментирует с алгоритмами, думает, как извлечь из него побольше прибыли. В итоге сталкивается с недовольством пользователей.

С 2009 года Microsoft запустил в работу собственный поисковик, получивший название Bing. Тогда же корпорация в союзе с Yahoo! заключила сделку, по которой последний должен работать на движке Bing. Сегодня эта пара постепенно набирает долю на рынке.

История разработки поисковых систем в России

По мере развития интернета встал вопрос о создании собственного поисковика в России, который был бы рассчитан на кириллический сегмент. Задача стала актуальной не только для РФ, но и для ряда стран СНГ. В те годы Google со скрипом работал с русским языком. Но ситуация изменилась с возникновением «Яндекса».

«Яндекс» появился в 1997 году и сегодня уверенно держится на лидирующих позициях. В этой ПС внедрены современные технологии чтения данных и нововведения из области искусственного интеллекта. В итоге система легко справляется с русскоязычной терминологией, когда ищет на зарубежных ресурсах. Получается, по ряду показателей «Яндекс» даже обгоняет Google.

Сегодня это крупнейшая российская технологическая компания. На нее приходится свыше 50% доли рынка среди ПС в стране. А по популярности в РФ она занимает 4-е место.

В 1996 году начал работать Rambler. Первоначально он содержал только 100 тыс. сайтов, прошедших индексацию. Эта ПС пусть и не была первой среди российских, но определенное время оставалась в числе популярнейших. Так длилось до 2001 года. Потом Rambler утратил позиции, поскольку это, по сути, не поисковик, а каталог.

С 1998 году появилось новое программное обеспечение, рассчитанное на поддержку почтового сервиса. Пользователи хлынули на сайт, предпочитая получить лаконичный электронный адрес. В конце концов люди узнали и о поисковике — Поиск@Mail.ru. Сегодня он продолжает набирать силу, его уже считают конкурентом упомянутым выше гигантам.

Кроме прочего, в России разрабатывали и менее удачные поисковые системы. Таковым стал, например, «Спутник». Это одновременно и поисковик, и интернет-портал, который создали в компании «Ростелеком». Бета-версия появилась в 2014 году, но уже в 2020-м деятельность «Спутника» прекратили.

Также в России разработали узкоспециализированную ПС под названием «Нигма». Это научный проект 2005 года, который был рассчитан на поиск с любопытными возможностями настроек. С 2017-го сайт «Нигмы» не работает.

Значение поисковиков для современного общества

В прежние годы никто не помышлял, что информация станет настолько доступной. Если раньше ради этого приходилось отправляться в библиотеку и просиживать в ней днями, то теперь достаточно применить поисковые системы. После пары кликов искомые сведения окажутся перед пользователем. При этом ПС работают бесперебойно, а еще у людей есть выбор не только из операционных систем, гаджетов, но и средств поиска.

С другой стороны, безграничный доступ и разнообразие иной раз приводят к тому, что человек в попытке отыскать необходимое сталкивается с противоречиями. Но, так или иначе, появление интернета и поисковиков навсегда изменило мир. По-новому стал выглядеть IT-рынок, начали стремительнее развиваться инновации, даже человеческий язык и мышление стали новыми.

ПС постоянно оптимизируются под мобильные устройства. Прошла эпоха использования стационарных компьютеров, свыше половины мультимедиа люди потребляют посредством гаджетов. Вдобавок в ПС наблюдается интеграция с социальными сетями.

Сегодня поисковые системы дают людям возможность не только получать информацию, но тут же расплачиваться электронными деньгами, пользоваться почтовыми услугами и пр. Наконец, стали нормой десятки приятных мелочей, которых еще недавно попросту не существовало.