Что такое поисковые сайты

Поисковая система

Поиско́вая систе́ма — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Улучшение поиска — это одна из приоритетных задач современного Интернета (см. про основные проблемы в работе поисковых систем в статье Глубокая паутина).

По данным компании Net Applications, [1] в ноябре 2011 года использование поисковых систем распределялось следующим образом:

Содержание

История

Одним из первых инструментов поиска в интернете (до Всемирной паутины) был Archie.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray ) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала [2] с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

Популярные поисковые системы

Согласно данным LiveInternet в 2012 году об охвате русскоязычных поисковых запросов:

Некоторые из поисковых систем используют внешние алгоритмы поиска. Так, Qip.ru использует поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

Необычные поисковые системы

См. также

Примечания

Литература

Ссылки

Ask.com (Ask Jeeves, механизм Teoma) • Blekko • Cuil (закрыт) • DuckDuckGo • Exalead • Gigablast • Google • Bing (Live Search/MSN Search) • Yahoo! Search (Inktomi • AltaVista • Alltheweb) • Яндекс

AskNet.ru • Brainboost • Clusty • Dogpile • FarSEER • exactus.ru • Excite • HotBot • Info.com • Ixquick • Krozilo • Mamma • Metacrawler • MetaLib • Нигма • Myriad Search • SideStep • Surfwax • Turbo10 • WebCrawler • GlobalFileSearch

DataparkSearch • Egothor • Gonzui • Grub • Ht://dig • locust • Isearch • Lucene • Lemur Toolkit & Indri Search Engine • mnoGoSearch • Namazu • Nutch • OpenFTS • Sciencenet (научная, на технологии YaCy) • Wikia Search • Sphinx • SWISH-E • Terrier Search Engine • Xapian • YaCy • Zettair

AGAKIDS (Россия) • Ask Kids (Великобритания) • Frag Finn (Германия) • Kids AOL (США) • Kids Yahoo! (США) • Quintura Дети (Россия) • Семейный Яндекс (Россия) • Гогуль (Россия)

Источник

Поисковая система

Поисковая система — это сложная программная разработка, онлайн-интерфейс которой создан для поиска информации в интернете. Главным качеством подобных сервисов является возможность формирования результатов поиска, которые в максимальной степени соответствуют запросам пользователя. Идеал не достигнут, но все лидеры рынка стремятся к нему. Поисковая система — что это? Миллионы людей ежедневно начинают свой серфинг в интернете с запроса в поисковике, но далеко не все могут ответить на этот вопрос. Алгоритмы поисковых систем не только имеют высокую сложность, но и являются важнейшей для компании коммерческой тайной. Но чтобы понять принцип их работы, достаточно рассмотреть базовые направления функционирования.

Сканирование страниц. С помощью поисковых роботов выполняется автоматический мониторинг появления в Сети новых сайтов и страниц, а также изменений на существующих ресурсах.

Индексация. Алгоритмы определяют тематику, ключевые слова, качество и другие параметры. После обработки полученные сведения отправляются на хранение в базы данных, которые таким образом обновляются.

Ранжирование. Определяется место конкретных страниц сайта в выдаче по всем возможным релевантным запросам. Сегодня при ранжировании во внимание берутся сотни факторов, определяющих тематику, качество и полезность ресурса.

Все известные поисковые системы работают по аналогичному принципу. Однако у каждого сервиса есть свои особенности, о которых мы поговорим ниже.

Google

В конце весны 2019 года агентство Statcounter провело исследование, которое показало, что на Google приходится более 92 % мирового поискового рынка. Такой успех во многом обусловлен тем, что компания много усилий прикладывает к совершенствованию своих алгоритмов анализа и ранжирования. В Google делают все возможное, чтобы пользователи получали лучшие результаты поиска. В процессе совершенствования компания периодически выпускала новые алгоритмы. Некоторые из них не имели особого значения, но отдельные становились причиной настоящего переворота в мире продвижения сайтов. Однако система имеет несколько особенностей.

Консервативные инструменты ранжирования. Нужно отметить, что Google до сих пор отдает приоритет техническим факторам ранжирования. При таком «классическом» подходе большое значение имеет ссылочная масса, возраст домена, авторитет сайта. Такая консервативность привела к тому, что информативные и полезные сайты могут оказаться ниже в тематической выдаче, чем ресурсы без хорошего контента, но с удачными техническими показателями. Такая ситуация кажется удивительной для мирового лидера инноваций и передовых технологий. Однако на адекватность ранжирования в Google жалуются не только оптимизаторы, но и многие требовательные пользователи.

Отслеживание поведения пользователей. Также нельзя не отметить того факта, что корпорация Google периодически попадает в скандалы, связанные с конфиденциальностью. Дело в том, что поисковая система очень тщательно отслеживает поведение пользователей в интернете, причем даже за пределами непосредственно самой поисковой системы. С точки зрения обычных людей это не очень хороший факт. Но для бизнеса такой подход к обработке данных является важным плюсом. Ведь рекламодателям сервис может предоставить самый гибкий и широкий набор инструментов для таргетинга рекламы. С помощью рекламных возможностей Google может добиться невероятного охвата, а также точности выхода на целевую аудиторию.

Если говорить о глобальном рынке, то поисковая система Bing уверенно занимает второе место после Google. Этот сервис принадлежит Microsoft, поэтому не удивительно, что он глубоко оптимизирован под работу с Windows. Поисковая система Bing отличается более совершенным, чем у главного конкурента-гиганта, алгоритмом поиска видеороликов. Пользователям здесь предлагают больше качественных вариантов автозаполнения строки. Алгоритмы Bing глубоко анализируют связи между сайтами, что делает поиск похожих вариантов более результативным.

Yandex

Поисковая система «Яндекс» — это лидер поискового рынка Рунета, который фактически на равных соперничает с Google. Сервис отличается собственным алгоритмом с отменной логикой. Его создатели успешно поработали над тем, чтобы роботы лучше «понимали» смысл текстовых материалов. Поэтому для удачного продвижения здесь придется научиться писать полезные и уникальные статьи. Пользователям поисковой системы «Яндекс» предоставляется доступ к широкому набору дополнительных инструментов, включая карты, почту, информатор о загруженности дорог и пр. Нужно отметить, что многие дополнительные сервисы дублируются аналогичными инструментами от Google.

Продвижение в поисковой системе «Яндекс» проходит быстрее, чем в Google. Но добиться хорошего результата можно только при пристальном внимании к качеству контента и поведенческим факторам. Алгоритмы учитывают то, насколько качественный опыт получил пользователь от взаимодействия с сайтом.

DuckDuckGo

Это еще одна достаточно распространенная поисковая система. С ней точно сталкивались пользователи браузера Firefox, ведь там этот сервис предустановлен по умолчанию. В DuckDuckGo принципиально отказались от «слежки» за своими пользователями. Это во многом позволило эффектно противопоставить себя гиганту Google и завоевать массовую популярность среди ценителей конфиденциальности.

Boardreader

Разработчики этого поискового сервиса решили не идти по консервативному пути. В итоге они создали систему, которая формирует выдачу на основе страниц различных авторитетных форумов. В некотором смысле эта система позволяет обойти коммерческие проекты и получить информацию от людей, которые разбираются в теме, но не представляют бизнес.

Dogpile

Это своеобразный граббер Google, Yandex и Yahoo. При вводе запроса в Dogpile система анализирует соответствующую выдачу у трех гигантов поискового рынка. После этого сервис с помощью собственного алгоритма составляет собственную выдачу. Здесь нет рекламы, поэтому можно глубже сосредоточиться на серфинге в интернете.

Creative Commons Search

Это уникальная поисковая система, которая чем-то напоминает узкоспециализированную социальную сеть. Ее алгоритмы позволяют находить необходимые тематические авторские материалы, причем с возможностью их использования для некоммерческих целей. Это просто находка для дизайнеров, музыкантов и других креативных людей.

Giphy

Эта оригинальная система была создана для удобного поиска анимированных изображений. Если вы любите развлекаться просмотром смешных и увлекательных мини-роликов, то эта поисковая система именно для вас. Также поисковик Giphy будет полезен для администраторов развлекательных сообществ.

Quora

По своему функционалу поисковая система очень напоминает гибрид классического информационного ресурса и сайта вопросов-ответов. Здесь всегда можно найти интересных собеседников, для чего и придется воспользоваться внутренним поиском. На главной странице есть рейтинг популярных вопросов, что позволяет сразу влиться в интересную беседу.

Vimeo

Поисковый сервис Vimeo является достаточно интересным и перспективным конкурентом крупнейшего видеохостинга YouTube. Причин популярности сервиса достаточно много: простой принцип обмена контентом, полное отсутствие рекламы и большой выбор материалов в высоком качестве.

WolframAlpha

Поисковая система WolframAlpha — это собственный оригинальный алгоритм поиска, необычный яркий дизайн и большой выбор дополнительных функций, которых не найдешь у конкурентов. Это интересная альтернатива привычным сервисам.

StartPage

Главная особенность этой поисковой платформы — это полное отсутствие слежки за своими пользователями. Это идеальное решение для людей, которые не хотят, чтобы крупные корпорации зарабатывали миллиарды, продавая информацию о поведении и интересах пользователей интернета. В поисковую систему StartPage встроен мощный прокси-сервер, позволяющий анонимно заходить на любые сайты вне зависимости от региональных или персональных блокировок. Пользователи сервиса не оставляют совершенно никаких следов своего присутствия на сайте.

Ask.com

Эта поисковая система, по сути, является агрегатором, который объединяет работы крупных поисковиков. Здесь пользователи могут добавлять в избранное результаты удачного поиска. А также есть возможность задать вопрос другим пользователям системы.

SlideShare

Это специализированный сервис, созданный для людей, которые нуждаются в инфографике, документах, презентациях и подобных материалах. Здесь собрана большая собственная база, многие из материалов которой не дублируются в свободном доступе. Чтобы пользоваться контентом, достаточно пройти простую и бесплатную процедуру регистрации.

Источник

Как работает поисковый сервер

Сложно представить современную жизнь без поисковиков – как бы иначе мы искали и находили информацию? Однажды придуманная технология навсегда упростила процесс работы с данными.

Сегодня я расскажу, что же представляет собой поисковый сервер, а также объясню принцип его работы.

Что такое поисковая машина

Мы знаем, что поисковый сервер (его еще называют поисковой системой или поисковой машиной) – это сайт, на котором можно быстро найти любую информацию, будь то текст, картинку, видео и многое другое. Но это только красивая обертка. На самом деле это сложный механизм, комплекс программ и алгоритмов, который обрабатывает сотни миллионов пользовательских запросов в минуту. И при этом конкретному человеку результат всегда выводится за доли секунды.

Архитектура большинства поисковых машин включает в себя, грубо говоря, три элемента:

Так работает поисковая машина, использующая специального робота. Но есть и другие виды поисковых машин:

Во всем мире наиболее популярен поисковый сервер Google (92%). В России лидирующую позицию занимает Яндекс (52,56%).

Как работает поисковый сервер

Вроде бы все просто – ввели слово или фразу по интересующей теме, запустили поиск, получаете результаты. Но за всем этим стоят тысячи алгоритмов – они анализируют миллиарды страниц, убирают лишнее и ранжируют сведения в списки по наиболее точному соответствию запросу.

Но кто сказал, что машина сразу же ищет в интернете информацию после введения запроса пользователем? Картина обстоит совсем иначе – поисковый сервер (сказать точнее, его индексатор) по определенным правилам обрабатывает содержимое сайтов в интернете и собирает по ним сведения в собственную базу данных. А уже потом, когда пользователь введет запрос, сервер обратится к этой самой базе и выведет из нее наиболее релевантную информацию. Отсюда и высокая скорость вывода результатов (пример на скриншоте ниже).

И вот ведь в чем вся соль – все, что делается для SEO-продвижения, направлено именно на то, чтобы «угодить» индексатору. Эта штука при выводе сайта учитывает кучу параметров, в числе которых:

Существуют, конечно, способы управления индексацией, например, теги noindex и nofollow закрывают определенное содержимое на сайте от роботов. Еще можно выставить запрет на индексацию всей страницы – для этого используется файл robots.txt с директивами Disallow, Allow, Crawl-delay, User-agent и т.д.

Со временем содержимое сайта может меняться, а индексатор не всегда успевает обрабатывать и вводить в свою базу данных эти самые изменения. Кроме того, на индексацию порой уходит несколько недель, иногда и больше – это зависит от алгоритма обработки информации на конкретном сервере. Соответственно, «свежие» страницы сразу в выдаче появляться не будут.

Поисковые сети борются с этим явлением разными способами. Например, новостные ленты анализируются чаще. В Яндекс.Вебмастере и Google Search Console есть специальный инструмент для переобхода страниц.

Теперь вернемся к пользователю – вот он ввел запрос и отправил его на обработку. Далее за дело берется система выдачи результатов. Она анализирует ключевые слова и ищет в базе данных подходящие страницы. Все параметры, которые я указала ранее, типа индекса цитирования и заспамленности, тоже учитываются при ранжировании.

Как искать информацию в поисковых системах

Суть работы машины – найти по конкретному запросу пользователя наиболее точные (релевантные) страницы. Но чтобы вышло именно то, что нужно, необходимо максимально правильно сформулировать ключевое слово. Можно воспользоваться несколькими такими словами, составлять из них фразы, также применять различные фильтры и инструменты в интерфейсе поисковика.

Как правильно формулировать запрос? Тут все неоднозначно. Вы можете в половине слов допустить ошибки, но поисковые системы, благодаря использованию современных языковых технологий, все равно распознают, что именно надо найти, и предоставят верные результаты. Еще нет разницы, в каком регистре вводится запрос – результаты во всех случаях будут идентичными.

Для поиска информации на русском языке идеально подойдут Яндекс и Google. А вот если потребуется найти что-то на иностранном языке, то с этим лучше справится Google.

Источник

Самые популярные поисковые системы в интернете

Сейчас трудно представить свою жизнь без поисковых систем. Абсолютно все пользователи сети интернет ежедневно ищут информацию в таких поисковиках, как Яндекс и Google. Но помимо известных поисковых систем существуют и другие достойные кандидаты.

На данный момент в России наибольшей популярностью пользуются всего два поисковика – Google и Яндекс. Однако помимо них существуют и другие всемирно известные системы поиска, которым два упомянутых лидера в чем-то даже уступают. Но прежде, чем рассматривать все существующие варианты, стоит понять, как вообще развивались поисковые системы.

Поисковики в интернете — краткая история

В начале 90-х годов, когда об интернете знали далеко не все люди, поисковики отсутствовали вовсе. Доступа к интернету у большей части населения не было, а сайтов было всего несколько сотен. В связи с этим было вполне достаточно обычных каталогов. Но позже количество сайтов начало стремительно увеличиваться и поиск в интернете стал затруднительным. Проблему нужно было как-то решать, поэтому начали появляться первые поисковые системы.

Кто был первопроходцем? Первая поисковая система — Wandex

Первой более-менее удобной и полезной поисковой системой стала разработанная в 1993 году платформа Wandex. Первый поисковик был далеко не идеален, так как в поисковую выдачу попадало все подряд. Ни о каких алгоритмах ранжирования речи не шло.

Сайтов в то время было немного больше, чем 600. В связи с этим не было необходимости в мощных серверах и каких-то сложных алгоритмах. Результаты поиска были очень неточными, поэтому каталоги составляли Wandex существенную конкуренцию.

Самые популярные поисковые системы в России и мире

Ответить на вопрос о том, какие поисковые системы наиболее популярны в России и мире сможет практически каждый человек. Их всего две – Google и Яндекс. Многие любят поспорить на тему о том, какой поисковик лучше, но в этом нет смысла, так как каждый из них имеет свои преимущества и недостатки.

Яндекс — самый популярный поисковик в России

Яндекс – это поисковая система, которая принадлежит одноименной российской корпорации и является ее основным продуктом. Одним из главных преимуществ российского поисковика является возможность осуществления поиска по конкретным регионам. В топ поисковой выдачи попадают те сайты, которые больше всего подходят каждому конкретному пользователю исходя из его местоположения. Также стоит отметить хорошую скорость работы службы поддержки.

К недостаткам относится контекстная реклама, которую вставляют куда только можно. Еще один недостаток – это капча, которая демонстрируется при большом количестве запросов, поступивших за короткий промежуток времени.

Google

Google – самая крупная поисковая система в мире, которая была основана еще в конце 90-х годов. Она обрабатывает порядка 42 миллиардов пользовательских запросов в месяц и занимает более 90% мирового рынка. К преимуществам данной поисковой системы можно отнести:

Однако и здесь без недостатков не обошлось:

Другие поисковые системы

На Яндекс и Google поисковые системы не заканчиваются. Многие будут удивлены, когда узнают, что существует еще 14 поисковых систем. Они, конечно, не так популярны, но некоторые из них имеют очень даже весомые преимущества.

Mail.ru

Мало кто знает, но на портале Mail.ru есть не только сервис «Ответы», почта и «Мой мир», но и поисковая система, которая работает на собственном движке. Ее характерная особенность заключаются в возможности поиска по социальным сетям.

Преимущество заключается в том, что прямо из поисковика вы можете перейти к сервису «Ответы». Из недостатков стоит отметить сравнительно небольшой поисковый индекс.

Rambler

Многие считают, что Rambler чуть ли не одна из худших поисковых систем, но на самом деле все иначе. К ее преимуществам стоит отнести продвинутую систему ассоциаций. К недостаткам можно отнести то, что в ленту часто попадают новости, которые абсолютно не интересны пользователю. Также есть некоторые проблемы с работой службы поддержки.

Данная поисковая система существует чуть больше 10 лет. Чаще всего она используется в качестве основного поисковика владельцами смартфонов, работающих на базе операционной системы Windows. Большая часть пользователей Bing – это граждане США.

Nigma

Данная поисковая система ищет информацию по индексам трех крупных поисковиков – Google, Яндекс и Bing, а также применяет свои собственные поисковые алгоритмы. Благодаря этому результаты поиска получаются наиболее релевантными. Большим плюсом является то, что прямо в этом поисковике можно решать задачи по математике и химии. Среди недостатков стоит выделить отсутствие отображения иконок сайтов, низкая скорость загрузки и пользовательский интерфейс, в котором можно легко запутаться.

WebAlta

Данная поисковая система относительно молодая, поэтому о ней слышали далеко не все.

Но есть и недостатки, которые куда более весомее преимуществ:

Yahoo

Yahoo – это один из наиболее старых поисковиков. Данная поисковая система использует те же алгоритмы поиска, что и Bing, поэтому претензий к поисковой выдаче нет. Среди недостатков стоит отметить большое количество рекламы, а также относительно низкую скорость поиска.

DuckDuckGo

Разработчики сделали все возможное, чтобы обеспечить своим пользователям максимальную приватность и конфиденциальность. В этом и заключается основное преимущество – в отсутствии сбора и хранения пользовательских данных. Также здесь минимум рекламы. Среди недостатков стоит отметить отсутствие голосового поиска и поиска по изображениям.

Not Evil

Данный поисковик осуществляет поиск по анонимной сети Tor. К его преимуществам можно отнести уникальность найденной информации и интуитивно понятный пользовательский интерфейс. Ключевой недостаток заключается в том, что этот поисковик можно использовать только в рамках браузера Tor.

Данная пусковая система является свободно распространяемой. Ее ключевая особенность заключается в отсутствии центрального сервера. YaCy не подвергает результаты поиска какой-либо цензуре, что для многих является важным преимуществом. Из недостатков стоит отметить относительно низкую скорость поиска, а также то, что этот поисковик не ищет различные словоформы.

Данная поисковая система позволяет искать информацию о людях и справляется с этим намного лучше других поисковиков. Среди недостатков стоит отметить ограниченные возможности этой поисковой системы на территории России. Пока что полноценно использовать ее можно только на территории США.

FindSounds

Эта поисковая система специализируется на поиске конкретных звуков в открытых источниках. Она уникальна в своем роде, поэтому пользуется большой популярностью. К ее недостаткам можно отнести перегруженный пользовательский интерфейс, а к преимуществам — возможность настроить качество звука и скачать найденное аудио.

WolframAlpha

Данный поисковик подойдет тем, кто профессионально занимается различными вычислениями. В ответ на конкретный вопрос эта поисковая система выдаст вам массу графиков, таблиц, диаграмм и т.д. В ней удобно искать информацию об известных личностях, работать с датами и проводить сравнительный анализ. К сожалению, поисковик полностью на английском языке.

Dogpile

Dogpile работает с индексами сразу нескольких поисковых систем, что улучшает качество предоставляемых результатов. Иногда с ее помощью можно найти то, чего не нашлось в том же Яндексе. К преимуществам этой платформы можно отнести минимум рекламы. Недостатком является то, что Dogpile не исключает повторы в предоставляемой поисковой выдаче.

BoardReader

С помощью этого поисковика удобно искать информацию в социальных сетях, на форумах и сервисах вроде «Ответы» от Mail.ru. Результаты поиска можно фильтровать по различным критериям. Такая система поиска подойдет далеко не всем, но будет настоящим кладом для людей, которые работают в сфере SMM.

Советы и выводы

На сегодняшний день в мире существует 16 действующих поисковых систем, и каждая из них предназначена для каких-то определенных задач. Нельзя однозначно сказать, какая из них самая лучшая. Среднестатистическому пользователю наиболее удобным поисковиком покажется Яндекс или Google, а некоторые предпочтут DuckDuckGo из-за ее приватности.

Пожалуйста, оставляйте свои отзывы по текущей теме материала. За комментарии, отклики, подписки, дизлайки, лайки низкий вам поклон!

Пожалуйста, оставьте ваши мнения по текущей теме материала. Мы очень благодарим вас за ваши комментарии, дизлайки, отклики, лайки, подписки!

Источник