Что такое поисковые сервисы
Поисковые системы
Поисковые системы (ПС) уже давно являются обязательной частью интернета и нашей повседневной жизни. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.
Функции и понятие ПС
Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.
Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.
Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.
Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Туле»).
Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. Приучить же пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.
Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.
Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?
Основные характеристики поисковых систем
Полнота.
Точность.
Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.
Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.
Актуальность.
Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.
К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.
Скорость поиска.
Наглядность.
Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.
Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.
История развития поисковых систем
Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.
Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.
Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самым известным и большим каталогом в мире был DMOZ (прекратил работу 14 марта 2017 года) имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.
Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.
В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.
В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.
В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.
Доля поисковых систем
Принципы работы поисковой системы
Модуль индексирования.
Данный компонент состоит из трех программ-роботов:
Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.
«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.
Crawler, исследуя найденные ссылки, ищет новые документы, еще не ставшие известными поисковой системе.
Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.
Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.
Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.
Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.
База данных
Поисковый сервер
Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.
Самые популярные поисковые системы в интернете
Сейчас трудно представить свою жизнь без поисковых систем. Абсолютно все пользователи сети интернет ежедневно ищут информацию в таких поисковиках, как Яндекс и Google. Но помимо известных поисковых систем существуют и другие достойные кандидаты.
На данный момент в России наибольшей популярностью пользуются всего два поисковика – Google и Яндекс. Однако помимо них существуют и другие всемирно известные системы поиска, которым два упомянутых лидера в чем-то даже уступают. Но прежде, чем рассматривать все существующие варианты, стоит понять, как вообще развивались поисковые системы.
Поисковики в интернете — краткая история
В начале 90-х годов, когда об интернете знали далеко не все люди, поисковики отсутствовали вовсе. Доступа к интернету у большей части населения не было, а сайтов было всего несколько сотен. В связи с этим было вполне достаточно обычных каталогов. Но позже количество сайтов начало стремительно увеличиваться и поиск в интернете стал затруднительным. Проблему нужно было как-то решать, поэтому начали появляться первые поисковые системы.
Кто был первопроходцем? Первая поисковая система — Wandex
Первой более-менее удобной и полезной поисковой системой стала разработанная в 1993 году платформа Wandex. Первый поисковик был далеко не идеален, так как в поисковую выдачу попадало все подряд. Ни о каких алгоритмах ранжирования речи не шло.
Сайтов в то время было немного больше, чем 600. В связи с этим не было необходимости в мощных серверах и каких-то сложных алгоритмах. Результаты поиска были очень неточными, поэтому каталоги составляли Wandex существенную конкуренцию.
Самые популярные поисковые системы в России и мире
Ответить на вопрос о том, какие поисковые системы наиболее популярны в России и мире сможет практически каждый человек. Их всего две – Google и Яндекс. Многие любят поспорить на тему о том, какой поисковик лучше, но в этом нет смысла, так как каждый из них имеет свои преимущества и недостатки.
Яндекс — самый популярный поисковик в России
Яндекс – это поисковая система, которая принадлежит одноименной российской корпорации и является ее основным продуктом. Одним из главных преимуществ российского поисковика является возможность осуществления поиска по конкретным регионам. В топ поисковой выдачи попадают те сайты, которые больше всего подходят каждому конкретному пользователю исходя из его местоположения. Также стоит отметить хорошую скорость работы службы поддержки.
К недостаткам относится контекстная реклама, которую вставляют куда только можно. Еще один недостаток – это капча, которая демонстрируется при большом количестве запросов, поступивших за короткий промежуток времени.
Google – самая крупная поисковая система в мире, которая была основана еще в конце 90-х годов. Она обрабатывает порядка 42 миллиардов пользовательских запросов в месяц и занимает более 90% мирового рынка. К преимуществам данной поисковой системы можно отнести:
Однако и здесь без недостатков не обошлось:
Другие поисковые системы
На Яндекс и Google поисковые системы не заканчиваются. Многие будут удивлены, когда узнают, что существует еще 14 поисковых систем. Они, конечно, не так популярны, но некоторые из них имеют очень даже весомые преимущества.
Mail.ru
Мало кто знает, но на портале Mail.ru есть не только сервис «Ответы», почта и «Мой мир», но и поисковая система, которая работает на собственном движке. Ее характерная особенность заключаются в возможности поиска по социальным сетям.
Преимущество заключается в том, что прямо из поисковика вы можете перейти к сервису «Ответы». Из недостатков стоит отметить сравнительно небольшой поисковый индекс.
Rambler
Многие считают, что Rambler чуть ли не одна из худших поисковых систем, но на самом деле все иначе. К ее преимуществам стоит отнести продвинутую систему ассоциаций. К недостаткам можно отнести то, что в ленту часто попадают новости, которые абсолютно не интересны пользователю. Также есть некоторые проблемы с работой службы поддержки.
Данная поисковая система существует чуть больше 10 лет. Чаще всего она используется в качестве основного поисковика владельцами смартфонов, работающих на базе операционной системы Windows. Большая часть пользователей Bing – это граждане США.
Nigma
Данная поисковая система ищет информацию по индексам трех крупных поисковиков – Google, Яндекс и Bing, а также применяет свои собственные поисковые алгоритмы. Благодаря этому результаты поиска получаются наиболее релевантными. Большим плюсом является то, что прямо в этом поисковике можно решать задачи по математике и химии. Среди недостатков стоит выделить отсутствие отображения иконок сайтов, низкая скорость загрузки и пользовательский интерфейс, в котором можно легко запутаться.
WebAlta
Данная поисковая система относительно молодая, поэтому о ней слышали далеко не все.
Но есть и недостатки, которые куда более весомее преимуществ:
Yahoo
Yahoo – это один из наиболее старых поисковиков. Данная поисковая система использует те же алгоритмы поиска, что и Bing, поэтому претензий к поисковой выдаче нет. Среди недостатков стоит отметить большое количество рекламы, а также относительно низкую скорость поиска.
DuckDuckGo
Разработчики сделали все возможное, чтобы обеспечить своим пользователям максимальную приватность и конфиденциальность. В этом и заключается основное преимущество – в отсутствии сбора и хранения пользовательских данных. Также здесь минимум рекламы. Среди недостатков стоит отметить отсутствие голосового поиска и поиска по изображениям.
Not Evil
Данный поисковик осуществляет поиск по анонимной сети Tor. К его преимуществам можно отнести уникальность найденной информации и интуитивно понятный пользовательский интерфейс. Ключевой недостаток заключается в том, что этот поисковик можно использовать только в рамках браузера Tor.
Данная пусковая система является свободно распространяемой. Ее ключевая особенность заключается в отсутствии центрального сервера. YaCy не подвергает результаты поиска какой-либо цензуре, что для многих является важным преимуществом. Из недостатков стоит отметить относительно низкую скорость поиска, а также то, что этот поисковик не ищет различные словоформы.
Данная поисковая система позволяет искать информацию о людях и справляется с этим намного лучше других поисковиков. Среди недостатков стоит отметить ограниченные возможности этой поисковой системы на территории России. Пока что полноценно использовать ее можно только на территории США.
FindSounds
Эта поисковая система специализируется на поиске конкретных звуков в открытых источниках. Она уникальна в своем роде, поэтому пользуется большой популярностью. К ее недостаткам можно отнести перегруженный пользовательский интерфейс, а к преимуществам — возможность настроить качество звука и скачать найденное аудио.
WolframAlpha
Данный поисковик подойдет тем, кто профессионально занимается различными вычислениями. В ответ на конкретный вопрос эта поисковая система выдаст вам массу графиков, таблиц, диаграмм и т.д. В ней удобно искать информацию об известных личностях, работать с датами и проводить сравнительный анализ. К сожалению, поисковик полностью на английском языке.
Dogpile
Dogpile работает с индексами сразу нескольких поисковых систем, что улучшает качество предоставляемых результатов. Иногда с ее помощью можно найти то, чего не нашлось в том же Яндексе. К преимуществам этой платформы можно отнести минимум рекламы. Недостатком является то, что Dogpile не исключает повторы в предоставляемой поисковой выдаче.
BoardReader
С помощью этого поисковика удобно искать информацию в социальных сетях, на форумах и сервисах вроде «Ответы» от Mail.ru. Результаты поиска можно фильтровать по различным критериям. Такая система поиска подойдет далеко не всем, но будет настоящим кладом для людей, которые работают в сфере SMM.
Советы и выводы
На сегодняшний день в мире существует 16 действующих поисковых систем, и каждая из них предназначена для каких-то определенных задач. Нельзя однозначно сказать, какая из них самая лучшая. Среднестатистическому пользователю наиболее удобным поисковиком покажется Яндекс или Google, а некоторые предпочтут DuckDuckGo из-за ее приватности.
Пожалуйста, оставляйте свои отзывы по текущей теме материала. За комментарии, отклики, подписки, дизлайки, лайки низкий вам поклон!
Пожалуйста, оставьте ваши мнения по текущей теме материала. Мы очень благодарим вас за ваши комментарии, дизлайки, отклики, лайки, подписки!
Поисковая система
Поисковая система — это сложная программная разработка, онлайн-интерфейс которой создан для поиска информации в интернете. Главным качеством подобных сервисов является возможность формирования результатов поиска, которые в максимальной степени соответствуют запросам пользователя. Идеал не достигнут, но все лидеры рынка стремятся к нему. Поисковая система — что это? Миллионы людей ежедневно начинают свой серфинг в интернете с запроса в поисковике, но далеко не все могут ответить на этот вопрос. Алгоритмы поисковых систем не только имеют высокую сложность, но и являются важнейшей для компании коммерческой тайной. Но чтобы понять принцип их работы, достаточно рассмотреть базовые направления функционирования.
Сканирование страниц. С помощью поисковых роботов выполняется автоматический мониторинг появления в Сети новых сайтов и страниц, а также изменений на существующих ресурсах.
Индексация. Алгоритмы определяют тематику, ключевые слова, качество и другие параметры. После обработки полученные сведения отправляются на хранение в базы данных, которые таким образом обновляются.
Ранжирование. Определяется место конкретных страниц сайта в выдаче по всем возможным релевантным запросам. Сегодня при ранжировании во внимание берутся сотни факторов, определяющих тематику, качество и полезность ресурса.
Все известные поисковые системы работают по аналогичному принципу. Однако у каждого сервиса есть свои особенности, о которых мы поговорим ниже.
В конце весны 2019 года агентство Statcounter провело исследование, которое показало, что на Google приходится более 92 % мирового поискового рынка. Такой успех во многом обусловлен тем, что компания много усилий прикладывает к совершенствованию своих алгоритмов анализа и ранжирования. В Google делают все возможное, чтобы пользователи получали лучшие результаты поиска. В процессе совершенствования компания периодически выпускала новые алгоритмы. Некоторые из них не имели особого значения, но отдельные становились причиной настоящего переворота в мире продвижения сайтов. Однако система имеет несколько особенностей.
Консервативные инструменты ранжирования. Нужно отметить, что Google до сих пор отдает приоритет техническим факторам ранжирования. При таком «классическом» подходе большое значение имеет ссылочная масса, возраст домена, авторитет сайта. Такая консервативность привела к тому, что информативные и полезные сайты могут оказаться ниже в тематической выдаче, чем ресурсы без хорошего контента, но с удачными техническими показателями. Такая ситуация кажется удивительной для мирового лидера инноваций и передовых технологий. Однако на адекватность ранжирования в Google жалуются не только оптимизаторы, но и многие требовательные пользователи.
Отслеживание поведения пользователей. Также нельзя не отметить того факта, что корпорация Google периодически попадает в скандалы, связанные с конфиденциальностью. Дело в том, что поисковая система очень тщательно отслеживает поведение пользователей в интернете, причем даже за пределами непосредственно самой поисковой системы. С точки зрения обычных людей это не очень хороший факт. Но для бизнеса такой подход к обработке данных является важным плюсом. Ведь рекламодателям сервис может предоставить самый гибкий и широкий набор инструментов для таргетинга рекламы. С помощью рекламных возможностей Google может добиться невероятного охвата, а также точности выхода на целевую аудиторию.
Если говорить о глобальном рынке, то поисковая система Bing уверенно занимает второе место после Google. Этот сервис принадлежит Microsoft, поэтому не удивительно, что он глубоко оптимизирован под работу с Windows. Поисковая система Bing отличается более совершенным, чем у главного конкурента-гиганта, алгоритмом поиска видеороликов. Пользователям здесь предлагают больше качественных вариантов автозаполнения строки. Алгоритмы Bing глубоко анализируют связи между сайтами, что делает поиск похожих вариантов более результативным.
Yandex
Поисковая система «Яндекс» — это лидер поискового рынка Рунета, который фактически на равных соперничает с Google. Сервис отличается собственным алгоритмом с отменной логикой. Его создатели успешно поработали над тем, чтобы роботы лучше «понимали» смысл текстовых материалов. Поэтому для удачного продвижения здесь придется научиться писать полезные и уникальные статьи. Пользователям поисковой системы «Яндекс» предоставляется доступ к широкому набору дополнительных инструментов, включая карты, почту, информатор о загруженности дорог и пр. Нужно отметить, что многие дополнительные сервисы дублируются аналогичными инструментами от Google.
Продвижение в поисковой системе «Яндекс» проходит быстрее, чем в Google. Но добиться хорошего результата можно только при пристальном внимании к качеству контента и поведенческим факторам. Алгоритмы учитывают то, насколько качественный опыт получил пользователь от взаимодействия с сайтом.
DuckDuckGo
Это еще одна достаточно распространенная поисковая система. С ней точно сталкивались пользователи браузера Firefox, ведь там этот сервис предустановлен по умолчанию. В DuckDuckGo принципиально отказались от «слежки» за своими пользователями. Это во многом позволило эффектно противопоставить себя гиганту Google и завоевать массовую популярность среди ценителей конфиденциальности.
Boardreader
Разработчики этого поискового сервиса решили не идти по консервативному пути. В итоге они создали систему, которая формирует выдачу на основе страниц различных авторитетных форумов. В некотором смысле эта система позволяет обойти коммерческие проекты и получить информацию от людей, которые разбираются в теме, но не представляют бизнес.
Dogpile
Это своеобразный граббер Google, Yandex и Yahoo. При вводе запроса в Dogpile система анализирует соответствующую выдачу у трех гигантов поискового рынка. После этого сервис с помощью собственного алгоритма составляет собственную выдачу. Здесь нет рекламы, поэтому можно глубже сосредоточиться на серфинге в интернете.
Creative Commons Search
Это уникальная поисковая система, которая чем-то напоминает узкоспециализированную социальную сеть. Ее алгоритмы позволяют находить необходимые тематические авторские материалы, причем с возможностью их использования для некоммерческих целей. Это просто находка для дизайнеров, музыкантов и других креативных людей.
Giphy
Эта оригинальная система была создана для удобного поиска анимированных изображений. Если вы любите развлекаться просмотром смешных и увлекательных мини-роликов, то эта поисковая система именно для вас. Также поисковик Giphy будет полезен для администраторов развлекательных сообществ.
Quora
По своему функционалу поисковая система очень напоминает гибрид классического информационного ресурса и сайта вопросов-ответов. Здесь всегда можно найти интересных собеседников, для чего и придется воспользоваться внутренним поиском. На главной странице есть рейтинг популярных вопросов, что позволяет сразу влиться в интересную беседу.
Vimeo
Поисковый сервис Vimeo является достаточно интересным и перспективным конкурентом крупнейшего видеохостинга YouTube. Причин популярности сервиса достаточно много: простой принцип обмена контентом, полное отсутствие рекламы и большой выбор материалов в высоком качестве.
WolframAlpha
Поисковая система WolframAlpha — это собственный оригинальный алгоритм поиска, необычный яркий дизайн и большой выбор дополнительных функций, которых не найдешь у конкурентов. Это интересная альтернатива привычным сервисам.
StartPage
Главная особенность этой поисковой платформы — это полное отсутствие слежки за своими пользователями. Это идеальное решение для людей, которые не хотят, чтобы крупные корпорации зарабатывали миллиарды, продавая информацию о поведении и интересах пользователей интернета. В поисковую систему StartPage встроен мощный прокси-сервер, позволяющий анонимно заходить на любые сайты вне зависимости от региональных или персональных блокировок. Пользователи сервиса не оставляют совершенно никаких следов своего присутствия на сайте.
Ask.com
Эта поисковая система, по сути, является агрегатором, который объединяет работы крупных поисковиков. Здесь пользователи могут добавлять в избранное результаты удачного поиска. А также есть возможность задать вопрос другим пользователям системы.
SlideShare
Это специализированный сервис, созданный для людей, которые нуждаются в инфографике, документах, презентациях и подобных материалах. Здесь собрана большая собственная база, многие из материалов которой не дублируются в свободном доступе. Чтобы пользоваться контентом, достаточно пройти простую и бесплатную процедуру регистрации.