Что такое поисковые системы и для чего они нужны
Для чего нужны поисковые системы
Поисковая система — это совокупность различных программных и аппаратных средств, главной задачей которых является поиск информации в сети интернет. Для обычного пользователя поисковая система представляет из себя обычный веб-интерфейс, который дополнительно обладает еще функцией поиска различных данных и ресурсов сети.
В основе любой поисковой системы находится так называемая поисковая машина, которая представляет из себя комплекс программных решений для целей обеспечения функционирования поисковой машины. Как правило механизм ее действия является коммерческой тайной его разработчиков.
В настоящее время существует множество поисковых систем, самые известные из которых: Google, Nigma, «Яндекс», Bing и некоторые другие. Каждая из этих систем в своей основе имеет принцип сканирования ключевых слов. Любой ресурс или сайт сети интернет индексируется (или, говоря грубее, регистрируется) поисковой машиной не просто так, а путем заявки на индексацию к администрации того или иного поисковика. В ответ администрация озвучивает необходимые условия для этого. Как правило, условия эти довольно нестрогие и заключаются в добавлении каких-либо тегов на главной странице ресурса.
После добавления тегов поисковая машина начинает сканировать код всех страниц ресурса. Процесс будет идти гораздо быстрее и проще, если в предоставленных для индексации ресурсах указаны ключевые слова. Под ключевыми словами подразумевается совокупность слов и фраз, по которым поисковая машина при запросе от пользователя смогла бы выделить данный ресурс из совокупности других.
В настоящий момент поисковых систем в чистом виде уже не существует. Помимо самого поисковика, его разработчики предоставляют пользователям услуги электронной почты, электронных денег, систем общения между пользователями поисковика, а также ряд приятных мелочей, как мониторинг погодных условий, пробок и прочее в зависимости от вкусов разработчиков.
Поисковые системы
Поисковые системы (ПС) уже давно являются обязательной частью интернета и нашей повседневной жизни. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.
Функции и понятие ПС
Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.
Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.
Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.
Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Туле»).
Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. Приучить же пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.
Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.
Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?
Основные характеристики поисковых систем
Полнота.
Точность.
Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.
Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.
Актуальность.
Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.
К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.
Скорость поиска.
Наглядность.
Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.
Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.
История развития поисковых систем
Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.
Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.
Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самым известным и большим каталогом в мире был DMOZ (прекратил работу 14 марта 2017 года) имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.
Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.
В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.
В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.
В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.
Доля поисковых систем
Принципы работы поисковой системы
Модуль индексирования.
Данный компонент состоит из трех программ-роботов:
Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.
«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.
Crawler, исследуя найденные ссылки, ищет новые документы, еще не ставшие известными поисковой системе.
Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.
Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.
Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.
Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.
База данных
Поисковый сервер
Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.
Поиск информации в сети Интернет
Что такое поисковые системы, и для чего они нужны
В глобальной сети Интернет можно найти информацию по любой интересующей теме. Но самое трудное в работе с сетью Интернет — найти нужную информацию. Т. к. Интернет не имеет четкой централизованной структуры, развивается хаотично, и в мире появляются все новые и новые серверы, вопросы поиска информации становятся очень актуальными.
Каждая из поисковых систем имеет какие-то свои достоинства и недостатки, которые определяются принципом работы поисковой машины, удобством использования, ее оформлением, сложностью языка запросов, наличием различных расширенных функций (управление форматом и ранжированием выводимой информации, исправление орфографических ошибок и ошибочной раскладки клавиатуры при вводе ключевых слов, перевод страницы на др. языки т. д.), скоростью работы, и др. параметрами. Выбор поисковой системы для конкретного применения определяется целью поиска, характером искомой информации, желаемым форматом выводимых данных и шириной охвата отслеживаемых адресов серверов в мире Интернет.
Наиболее популярные поисковые системы
За пределами России рейтинг поисковых систем также возглавляет Google, далее следуют bing и Yahoo!.
Поиск по ключевым словам. Язык запросов поисковой системы
Поисковая система обычно имеет поле для ввода ключевых слов, по которым она находит документы, содержащие эти ключевые слова. Чем лучше (качественнее) составлен запрос к поисковой машине, тем меньше общее количество найденных документов, и больше из них документов, соответствующих тому, что Вам требуется. Если запрос очень простой или составлен неграмотно, то поисковая машина может Вам выдать несколько миллионов документов, которые Вам не просмотреть за всю жизнь.
Используя язык запроса, содержащий логические операции (логические операторы AND, OR, NOT, скобки и др.), префиксы обязательности присутствия ключевых слов в документе «+» и «-» (при поиске по узкоспециализированным терминам — предпочтительней использовать), расположения ключевых слов в документе рядом или на определенном расстоянии и т. д.) и др. элементы, и большее количество связанных ими ключевых слов, можно значительно сузить область поиска и более качественно составить запрос к поисковому серверу. Следует учитывать, что разные поисковые системы могут иметь как различающиеся языки запросов, так и очень похожие.
На сайтах поисковых систем обычно есть ссылки на справочную информацию по использованию поисковых сервисов, языков запросов, рекомендации по поиску и т. д.
Некоторые поисковые системы дополнительно имеют функцию расширенного поиска, позволяющую пользователю более точно описать то, что ему конкретно нужно и без знания языка запроса. Функцию расширенного поиска имеют, например, поисковые системы Яндекс и Google.
Типы поисковых систем. Какой поисковой системой воспользоваться
Существует 2 основных типа поисковых систем Интернет: индексные и классификационные (каталоговые). Индексные поисковые системы (например, Яндекс, Google, Rambler и др.), работая в автоматическом режиме обновления своей информации, просматривают в Интернет содержимое серверов, индексируя информацию, содержащуюся в них и внося информацию о расположении слов на страницах сайтов в свои базы данных. Каталоговые системы поиска (например, Rambler, Yahoo! и др.) содержат тематически структурированный каталог серверов, и чаще всего пополняются вручную. Обычно на WWW-странице классификационной поисковой системы содержится и поле для ввода ключевых слов для поиска в собственной базе данных. В каталоговой системе поиска можно, начав с более крупной тематической рубрики, и постепенно спускаясь дальше по рубрикам, прийти к ссылке на нужный Вам сайт. В одних случаях бывает удобней воспользоваться первым типом поисковых систем, в других — вторым. Есть поисковые системы, сочетающие в себе оба принципа работы. В частности, большинство индексных поисковых систем имеют и каталоговую систему поиска. Также поисковые машины могут использовать и какие-то другие принципы методы поиска.
Многие поисковые системы преобразовались в Интернет-порталы, объединяющие в себе большое количество ресурсов и сервисов. На страницах таких порталов можно прочитать новости, ознакомиться с программой телепередач, узнать о погоде, курсах валют, воспользоваться картографическим сервисом и мн. др.
Для поиска по российским ресурсам Интернет рекомендуется пользоваться российскими поисковыми системами (например, Яндекс), ввиду наличия русскоязычного интерфейса, возможности поиска по русским словам, учета особенностей русского языка, близости расположения сервера и т. д. Для поиска по зарубежным ресурсам можно воспользоваться многоязычными поисковыми машинами, имеющими в т. ч. и русскоязычный пользовательский интерфейс, а также возможность перевода найденных страниц на русский язык (например, Google).
Для поиска одновременно в нескольких поисковых системах можно воспользоваться так называемыми поисковыми метамашинами, обращающимися сразу к нескольким поисковым средствам, например, MetaCrawler.
Как известно, поисковых систем в Интернете много и найти нужную информацию крайне непросто. Отсутствие единого стандарта на спецификацию задачи поиска в Сети приводит к тому, что на каждом узле предлагается собственный способ решения поставленной задачи. В результате пользователь, не искушенный в премудростях синтаксических конструкций запросов к поисковой системе, либо не полностью использует возможности поисковика, либо, изучив функции конкретной системы, постоянно обращается лишь к одной.
Мета-поисковая система имеет единый язык запросов, иногда даже возможность перевода ключевых слов на др. языки. Такие поисковые системы, получая результаты запросов от др. поисковых систем, фильтруют полученные материалы, убирая дублирующиеся ссылки, и сортируют их по релевантности (степени нужности). Для поиска зарубежных ресурсов можно пользоваться российскими поисковыми метамашинами, обращающимися к другим поисковым средствам (в том числе зарубежным). Это удобно, ввиду наличия русскоязычного интерфейса, возможности поиска по русским словам, учета особенностей русского языка, близости расположения сервера, имеющего в большинстве случаев доступ к скоростному каналу за рубеж и т. д. Для этого и существуют поисковые метамашины. Но в последнее время качество поиска наиболее популярных поисковиков Яндекс и Google существенно улучшилось, и надобность в метапоисковых машинах отпадает, и они проигрывают в конкуренции с популярными поисковиками, вследствие чего почти все метапоисковики прекратили свое существование.
Существуют также поисковые системы, специализирующиеся по поиску по одной какой-либо теме (например, по информационным технологиям, по музыке, по ресурсам, посвященные природе и т. д.)
В некоторых случаях можно обойтись и без применения поисковых систем. Так, например, большинство крупных зарубежных фирм имеют адреса типа http://www.название_фирмы.com (например, официальный сайт Microsoft Corporation — http://www.microsoft.com), а большинство крупных российских фирм — http://www.название_фирмы.ru, (например, сайт компании «Лукоил» — http://www.lukoil.ru).
Можно также найти нужный Вам WWW-сервер в так называемых «Желтых страницах Интернет» (Yellow pages), выпускаемых в печатном виде или размещаемых в сети Интернет (Yellowpages.com, Желтые страницы интернет и мн. др.) В «Желтых страницах» ссылки на WWW-сервера располагаются по рубрикам. Каждому серверу дается краткое описание и иногда небольшой снимок первой страницы.
Также, собираясь посетить какой-то зарубежный сервер (например, официальный WWW-сервер какой-либо зарубежной фирмы), можно учитывать и такие возможные варианты, как наличие зеркальных серверов на территории России (копии зарубежного сайта) или наличие официального российского сайта зарубежной компании (на русском языке), наряду со своим главным официальным сайтом (например, официальный российский сайт компании Intel Corporation — http://www.intel.ru). Конечно же, лучше воспользоваться именно этими вариантами.
Как заявить о своем WWW-сайте (WWW-странице) в Интернет
Если у Вас есть своя страничка в Интернет, и Вы хотите показать ее всему миру, можно добавить свой URL к списку обслуживаемых страниц в выбранных Вами поисковых системах и каталогах, нажимая на соответствующие ссылки на страницах поисковых серверов и заполняя соответствующие формы. Можно также воспользоваться сервисом, позволяющим добавить Ваш адрес сразу в несколько поисковых систем и каталогов. Среди них можно назвать, например, Студия Артемия Лебедева: Система TAU (регистрация в 12-х зарубежных и 8-и российских поисковых системах), Регистратура РУ (регистрация в 13-и российских и 15-и зарубежных поисковых машинах и в 13-и российских каталогах линков, а также регистрация 5-и счетчиков), NET-ADS Submission Station (регистрация в 24-х зарубежных поисковых системах) и др.
Для просмотра параметров своей страницы в наиболее известных поисковых системах и каталогах можно обратиться к сайту Инструмент оптимизатора.
Как работают поисковые системы и почему они полезны
Поисковая система – это инструмент, используемый для поиска данных на основе определенного ввода. Поисковые системы в Интернете являются одним из примеров, где вы можете ввести слово или фразу, чтобы найти веб-страницы, которые соответствуют этим терминам.
Не все механизмы веб-поиска работают одинаково, но большинство из них основаны на поисковике, что означает, что они активно ищут в Интернете страницы, которые можно добавить в свой индекс. Поисковая система – это то, что вы используете для быстрого поиска информации из индекса и отображения результатов на странице.
Поисковые системы являются основным методом просмотра веб-страниц, и существует множество различных типов, предназначенных для поиска конкретной информации. В каждой поисковой системе часто используются расширенные параметры поиска, которые используются для более точной фокусировки поиска и помогают найти то, что вы ищете.
Хотя они часто используются взаимозаменяемо, веб-поисковая система отличается от веб-каталога и веб-браузера.
Как работает поисковая система
Поисковые системы автоматически создают списки веб-сайтов с помощью программного обеспечения, которое часто называют «пауками» или «паучьими ботами», «сканирующими» веб-страницы. Они переходят по ссылкам на другие страницы и индексируют информацию в процессе.
Боты-роботы, стоящие за поисковой системой, сканируют сеть не только путем перехода с одной ссылки на другую, но также проверяя каждый сайт на наличие файла robots.txt. Этот файл содержит список страниц, которые поисковая система должна сканировать. Это один из способов, которым владельцы веб-сайтов могут заблокировать поисковую систему от индексации конкретной страницы.
Программные пауки возвращаются на страницы, которые уже были просканированы на довольно регулярной основе, чтобы проверять наличие обновлений и изменений, и всё, что они находят, возвращается в базу данных поисковой системы.
Использование поисковой системы
Все поисковые системы отличаются друг от друга, но общая идея для всех них – ввести что-то в поле поиска и дождаться результатов. Некоторые поисковые системы также имеют опцию обратного поиска, которая позволяет вам просматривать в Интернете что-то, кроме текста, например, аудиоклипы или файлы изображений.
Многие поисковые системы включают дополнительные функции, помимо простого окна поиска. Они позволяют вам взаимодействовать с индексом с помощью специальных текстовых команд или кнопок, которые могут фильтровать результаты и удалять элементы, которые не имеют отношения к тому, что вы ищете.
Например, есть много продвинутых команд поиска Google, которые можно использовать для получения лучших результатов поиска.
Примеры поисковых систем
Существует множество поисковых систем, но выбор должен зависеть от того, что вы хотите сделать:
Другие факты о поисковых системах
Нет необходимости вручную обновлять поисковую систему, чтобы получать самые последние результаты. Если вы видите действительно старые результаты, которые, как вы подозреваете, должны быть обновлены, возможно, вам просто нужно очистить кеш вашего браузера.
Поисковые системы не выполняют поиск по всей сети. Существуют огромные части сети, которые не сканируются поисковой системой, и все они известны как невидимая/глубокая сеть.
Поисковая система самостоятельно находит веб-страницы, поэтому вам не обязательно указывать ей индексировать ваш веб-сайт или добавлять определенную страницу в её базу данных. Однако, по разным причинам поисковая система может не сканировать определенную веб-страницу.
Некоторые поисковые системы включают инструмент, который позволяет вам явно запросить, чтобы они проверили страницу и добавили её в индекс, чтобы другие люди могли её найти. Google URL Inspection tool является одним из примеров.
Поисковая оптимизация (SEO) – это то, что практикуется авторами веб-контента в попытке конкурировать с аналогичным контентом, который можно найти в поисковых системах. Поисковые системы используют определенные для ранжирования веб-страниц, поэтому одной из целей составителя онлайн-контента является обеспечение того, чтобы страница точно отражала тему. Это часто делается с помощью специально созданных ключевых слов и фраз.
В связи с тем, что поисковые системы сканируют данные в Интернете, владельцы веб-сайтов часто стремятся получить больше входящих ссылок, чтобы сканеры быстрее находили страницы и чаще отслеживали их изменения.