Что такое полнота поиска
Полнотекстовый поиск по сайту — бич современного интернета
Реализация хорошего поиска по сайту — часто сильно недооцененная по сложности задача. Поиск является слабым местом сайтов настолько часто, что когда я вижу строку поиска, у меня сразу же возникает предвзятое ощущение предстоящего фиаско. И чтобы лишний раз не расстраиваться, я сразу переадресую свой вопрос гуглу или яндексу и быстро нахожу то, что требовалось. Что же делать, чтобы как-то улучшить эту ситуацию?
Форма поиска по сайту от Яндекса и Гугла
Качество поиска
Для начала нужно понять, из чего вообще складывается понятие качества поиска. Качество поиска зависит от многих факторов. О многих из них можно прочитать в книге известного поискового оптимизатора кандидата технических наук Игоря Ашманова. (Скажу по секрету, что недавно видел её на torrents.ru). Все факторы условно можно разбить на три категории: полнота, точность и ранжирование.
Полнота
Причина этого чаще всего в том, что на большинстве сайтов реализован поиск только по динамическим данным из-за того, что поисковая программа получает данные из базы данных. Более того, обычно вебмастер (или создатель CMS) решает, какие таблицы в БД самые важные, а какие недостойны внимания. В результате «за бортом» поиска остаются некоторые «малозначимые» динамические данные и все статические страницы.
С другой стороны, если поставить целью обеспечение максимальной полноты поиска, то в результатах может оказаться много «мусорных» и дублирующихся страниц, что тоже негативно сказывается на лояльность пользователей.
Точность
Точность поиска — это характеристика соответствия найденных страниц поисковому запросу. В неё входят учет морфологии, снятие омонимии, учет опечаток, поиск по синонимам и др. Например, если пользователь ищет «количество голов Аршавина», то ясно, что головы тут ни при чем, и нужно показывать только информацию про забитые голы. Вот еще один интересный пример омонимии. Но это высший пилотаж, а самое простое, что хочет увидеть пользователь — это поиск по всем возможным словоформам.
Полнота и точность поиска
Эффективность поисковых систем
Критерии эффективности
Эффективность любой информационной системы определяется ее способностью служить тем целям, для которых она была разработана. Поскольку ИПС существует в конечном счете для удовлетворения информационных потребностей, критерии ее эффективности определяются пользователями [11, 29].
Существует два направления оценки качества работы поисковых систем. В одном случае анализируется отдельно взятая ИПС, в другом – определяются характеристики эффективности по сравнению с другими системами. Оценивать эффективность ИПС можно либо количественно, либо качественно.
При первом типе оценки качества выводы должны быть тщательно проверены и подтверждены экспериментальными доказательствами, а рассматриваемая поисковая система должна быть подвергнута комплексным испытаниям. Программа испытаний при этом должна учитывать большинство параметров и переменных системы и основываться на убедительном теоретическом базисе. Испытания второго типа не обязательно приводят к бесспорно доказуемым результатам. Подобные испытания часто можно проводить, используя имитационные методы. Практика показывает, что многое о качестве работы системы удается узнать из серии качественных экспериментов, даже если отсутствует полная уверенность в применимости полученных результатов к конкретным эксплуатационным условиям [11].
Оценка поисковых систем может производиться на нескольких уровнях [8, 29]:
— инженерный уровень исследует характеристики эффективности программного и аппаратного обеспечения: надежность, гибкость, скорость вычислений, а также эффективность применяемых поисковых алгоритмов;
— на уровне входа изучаются вопросы, связанные с входной информацией и внутренним содержимым системы, в частности, о степени полноты имеющихся информационных ресурсов в определенной области;
— уровень обработки рассматривает вопросы качества работы алгоритмов поиска, обоснованности применяемых методов и подходов;
— на уровне выхода исследуется взаимодействие пользователя с системой и работа с полученными результатами: вид представления найденных документов, оценка механизмов обратной связи и т. д;
— уровень применимости системы анализирует возможности использования результатов поиска для решения стоящей перед пользователем задачи и степень полезности этих результатов;
— социальный уровень исследует влияние системы на ее окружение, а именно на эффективность принятия решений, производительность труда и т. д.
В зависимости от целей и условий оценки эффективности можно выбрать множество методов исследования. На практике часто применяется метод макрооценки. Анализируемая ИПС рассматривается в таком случае как черный ящик, то есть ее структура не принимается во внимание, а акцент делается на затраты времени и ресурсов на уровне входа и получение нужных документов на уровне выхода [4].
Необходимо отметить, что испытание ИПС в любом случае должно производиться с использованием набора запросов, отражающего реальные типы запросов, которые в действительности поступают в условиях эксплуатации системы. Одновременно оценка релевантности найденных разными системами документов должна проводиться одними и теми же пользователями (экспертами) [8, 11].
Принято выделять несколько основных критериев эффективности ИПС:
3. Усилия, затрачиваемые на формулирование запросов, взаимодействие с системой и просмотр выдаваемой информации.
4. Форма представления найденной информации.
5. Полнота информационного массива, то есть степень охвата всех релевантных информационных ресурсов, интересующих пользователей.
Некоторые из этих критериев можно измерить довольно легко. Например, затраты труда пользователей можно выразить через время, необходимое для формулирования запроса, диалога с системой и просмотра полученной информации. Так же непосредственно можно оценить форму представления документов. Определение полноты охвата информационного массива может вызывать затруднения, если заранее неизвестно количество документов, представляющих интерес в данной предметной области. Это особенно характерно для глобальных ИПС сети Интернет. Наиболее трудным как принципиально, так и практически, является определение мер полноты и точности, то есть оценка качества результатов поиска.
Полнота и точность поиска
Коэффициент полноты – это доля полученных релевантных документов по сравнению с их общим количеством в поисковом массиве. Коэффициент точности – это доля релевантных документов среди выданных.
Введем обозначения [8]:
– количество полученных в результате поиска релевантных документов,
– количество нерелевантных документов, выданных ИПС,
– число релевантных документов в поисковом массиве, не выданных ИПС,
– число невыданных релевантных документов.
Табл. 2 иллюстрирует подобное разделение документов на подмножества.
Таблица 2. Разделение документов в процессе поиска
Тогда коэффициент полноты[1] 
и коэффициент точности[2] 
можно определить по формулам:
 , | (3.1) |
 . | (3.2) |
Часто используются дополнительные меры оценки – коэффициент выпадения[3] 
, характеризующий количество возвращаемых системой нерелевантных документов, и коэффициент ошибки[4] 
, описывающий правильность определения поисковой системой релевантности документов:
 , |
 . |
Если исследовать эффективность поисковой системы с помощью нескольких запросов (обозначим общее число запросов через 
), то для данного запроса 
коэффициенты полноты 
и точности 
можно записать в виде:
 , | (3.3) |
 . | (3.4) |
Из уравнений (3.3) и (3.4) можно получить среднюю величину, которая отражает эффективность системы, ожидаемую для случая среднего пользователя. Для этого возьмем среднее арифметическое по выборочным запросам:
 , |
 . |
Рис. 2. Кривая «полнота-точность»
Кривые “полнота-точность” могут использоваться для оценки качества работы либо нескольких ИПС, либо одной, работающей в разных условиях. При этом кривые, полученные для двух систем, могут быть наложены на один график, что позволяет определить, какая из систем лучше и в какой степени [1]. Очевидно, что кривая, расположенная ближе к правому верхнему углу графика (рис. 2), где полнота и точность максимальны, указывает на лучшее качество работы.
В идеальной ИПС коэффициенты полноты и точности равны единице. В реальных поисковых системах коэффициент полноты поиска может достигать значений 0,7 – 0,9, а коэффициент точности находится в интервале 0,1 – 1,0 [3].
В дополнение к стандартным мерам полноты (3.1) и точности (3.2), значения которых зависят от размера множества выданных документов, можно использовать показатели, не зависящие от выданного множества. В частности, для систем, в которых полученные документы ранжируются в порядке уменьшения сходства между документом и запросом, существуют меры оценки, основанные на рангах релевантных документов. Такие функции, называемые нормализованной полнотой и нормализованной точностью, имеют вид:
 , |
 . |
где 
– количество релевантных документов в массиве; 
— объем всего массива документов; 
– ранг -го релевантного документа в случае, когда документы расположены в порядке уменьшения их сходства с запросом [3, 11].
В идеальной системе все релевантные документы находятся в верхней части списка выданных документов, то есть 
при 
. Нормализованные полнота и точность равны в этом случае единице.
Что такое полнота поиска
Посмотрите на следующий рисунок.
На нем схематически изображено то, что поисковая система выдает пользователю по его запросу, и то, чего он не получает.
a – количество релевантных документов, выданных поисковой системой;
b – количество нерелевантных документов, выданных поисковой системой;
c – количество релевантных документов, не выданных поисковой системой;
d – количество нерелевантных и не выданных поисковой системой документов.
N – общее количество документов (как релевантных, так и не релевантных) известных данной ИПС.
А теперь посмотрите на следующий рисунок:
Он, по большому счету, зависит от того, насколько правильно пользователь задал запрос, и от того, сколько и каких документов проиндексировала ИПС к моменту запроса.
Разумеется, что у разных ИПС по одному и тому же запросу может быть разная точность (коэффициент точности) поиска.
Полнота (Recall) поиска.
Полнота поиска (или, еще говорят, коэффициент полноты поиска) – это отношение количества релевантных документов, выданных поисковой системой в результате запроса, к количеству релевантных документов, не выданных ней:
Полнота поиска будет максимально возможной и равна единице, если количество релевантных документов, проиндексированных, но не выданных поисковой системой, равно нулю:
при 
Но достичь максимальной полноты поиска бывает нелегко.
А если поиск проводится по какой-то очень распространенной теме (о которой сведения в Интернете встречаются, что называется, на каждом углу), то, может быть, это даже и невозможно.
Поэтому для увеличения полноты поиска нужно, чтобы количество релевантных документов, проиндексированных, но не выданных поисковой системой, было как можно меньше:
при 
Он, по большому счету, зависит от тех же факторов, что и точность: насколько правильно пользователь задал запрос, и от того, сколько и каких документов проиндексировала ИПС к моменту запроса.
Разумеется, что у разных ИПС по одному и тому же запросу может быть разная полнота (коэффициент полноты) поиска.
Что важнее: точность или полнота?
На первый взгляд, вроде бы нужно и одно, и другое.
Да, конечно, не помешает, если оба эти параметра поиска будут повыше.
Однако проблема в том, что они не могут быть максимально возможными одновременно.
Это наглядно видно на графике взаимозависимости между полнотой и точностью поиска, приведенном ниже.
Ну что, вот теперь-то, я думаю, Вам уже понятно, что нужно выбирать одного из двух зайцев.
Но какого?!
Давайте рассуждать, как говорят математики, методом от противного (это один из способов доказательства теорем).
Итак, когда нам точность при поиске не нужна, или не важна?
Говоря другими словами, когда нам не нужно (или не важно), чтобы из выданных поисковой системой документов было как можно больше релевантных?
По моему, никогда.
Нам это всегда нужно.
А когда нам не нужна (не столь важна) полнота поиска?
Да в основном – редко когда нужна.
Объясняю когда (и почему).
1. Когда информация, (релевантная(!) информация) по теме запроса, полученная из разных источников, совпадает.
Действительно, если такая картина после изучения нескольких документов из числа найденных наблюдается, то зачем дальше все это мусолить?
Ведь ответ уже найден.
Причем, этот ответ одинаковый (или почти одинаковый) в разных источниках
И если нас это «почти» устраивает, то дальше уже и не зачем продолжать поиски.
2. Когда нужно найти конкретный ответ на конкретный вопрос.
Например, дату какого-то исторического события.
Допустим, нужно узнать дату первого полета человека в космос.
Формулируем и вводим запрос.
Получаем ответ.
Очевидно, что этот ответ является однозначным и единственным на всех источниках!
Поэтому мы, если забыли эту дату, то вспомним ее после просмотра ответа из первого же источника.
Если же сомневаемся, для перестраховки можно свериться с несколькими другими источниками.
Таким образом, в большинстве случаев в первую очередь нужно стремиться повышать точность поиска, а полнота – уже как получится.
6. Поиск информации в сети интернет
Поиско́вая систе́ма (англ. search engine ) — это компьютерная система, предназначенная для поиска информации.
Поисковая система — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в интернете.
Характеристики поисковых систем
Полнота – одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.
Точность – еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.
Актуальность – не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.
Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.
Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.
На серверах поисковых служб есть специальные программы (их называют роботами или пауками), которые собирают информацию в Интернете и возвращают на свой сервер все обнаруженные страницы. Из накопленной таким образом информации формируются базы, особым образом проиндексированные.
Основные задачи поисковых серверов:
■ находить новые сайты и вносить их в собственную базу данных (хранилище) адресов;
■ ранжировать сайты в базе данных и делать результаты поиска наиболее соответствующими запросам пользователей.
При вводе запросов (ключевых слов) в поисковые серверы пользователь надеется быстро получить ссылки на нужные ресурсы. А поисковые серверы, в свою очередь, конкурируют между собой за выдачу наиболее точных результатов.
Поисковая система Google.
Среди множества поисковых систем с огромным отрывом лидирует Гугл. В 1998 году студенты Стэнфордского университета, Сергей Брин и Ларри Пейдж, создали эту систему. Сергей сделал ошибку в слове Googol (число 10 в 100 степени), так и возникло название Гугл. Сегодня Гугл является крупной поисковой системой и работает со 191 языками.
В народе бытует пословица «Гугл поможет всё найти». И это действительно так. Поисковик Google внес не только изменения в виртуальный мир, но и значительно расширил англоязычный и русскоязычный словарный запас. Это лидирующая мировая поисковая система в Интернете, принадлежащая корпорации Google Inc.
История начинается в далёком 1998 году, всё начиналось в тесной комнатушке студенческого общежития. Ныне этот поисковый магнат имеет представительства более, чем в сорока странах мира. Сердцем компании является Маутин-Вью, где находится её штаб-квартира.
В самом начале Ларри Пейдж и Сергей Брин начинали работу над поисковиком под названием BackRub. Отличительной особенностью этой системы был тот факт, что сайт является более важным, если на него ссылаются множество других ресурсов и наоборот. Позднее подобную систему ранжирования страниц стал использовать в своих алгоритмах и поисковик Google.
Трудно поверить в то, что менее, чем за 15 лет компания приобрела мировую известность, но это так.
Информацию пользователям поисковик Google предоставляет вследствие работы поискового робота, бота, который всю информацию о страницах заносит в свою базу данных. Компания разработала серию отдельных роботов, сканирующих определённые страницы сайтов. Так Гугл бот — Мобил используется для индексации мобильных устройств, Гугл бот — Image – работает с изображениями и картинками, Adsbot — Google производит оценку качества содержащейся информации на страницах веб-ресурсов. Все пользователи оценили удобство работы с данной поисковой системой и заметили, что она выдаёт самую актуальную и релевантную информацию. Однако веб-мастерам приходится немного «попотеть» продвигая ресурсы под эту поисковую систему.
Поисковик Google выдаёт перечень сайтов, выстраиваемых в зависимости от значения PR, веса страницы, зависящего от количества ссылаемых на страницу ресурсов и других важных показателей. Появилась «теория песочницы», говорящая о том, что домены с частой сменой владельцев и новыми именами помещаются в зону ожидания. Правдивость этой теории не была доказана, как, впрочем, и не было опровергнута.
Ещё одной легендой поисковика Google является «бонус новичков», основанная на том домысле, что при первоначальной индексации сайт занимает более высокие позиции благодаря завышенному показателю PR.
В Америке неоднократно разгорались скандалы вследствие нарушения поисковой системой авторских прав, однако Гугл всегда отстаивал свои позиции и жалобы Церкви саентологии и известной газеты The New York Times были отклонены.
Система имеет сложный язык запросов, однако именно это позволяет ограничивать поиск отдельными доменами, типами файлов или языками. При этом такой мощный механизм может одновременно применяться и хакерами для сканирования страниц на наличие слабых мест.
В 2009 году корпорация реализовала Википоиск, позволяющий всем желающим настроить результаты выдачи поисковых запросов. Пользователь получил возможность самостоятельно удалять или поднимать вверх результаты выдачи. Технология не прижилась и существовала всего полгода.
3 года назад новым функционалом российских пользователей порадовал поисковик Google: возможность поиска по голосу. Для этого возле строки поиска в телефоне следует нажать кнопку, произнести запрос, который впоследствии отправляется на сервер. Через время браузер выдаёт результаты поиска согласно распознанному запросу.
Поисковик Google обладает ещё одной функцией, с которой знакомы все, кто когда-либо пользовался поисковой системой. Логотип поисковика в праздники меняется со стандартного на тематический, но всегда в стиле Гугл. Патент на подобную опцию компании удалось получить после 10 лет ожидания. Компания в настоящее время поддерживает множество проектов, призванных сделать ещё более совершенным глобальную сеть.
Краткая характеристика Яндекс
Яндекс – самая крупная отечественная поисковая система. Дата основания – 23 сентября 1997г. В последнее время Яндекс активно выходит на международный уровень и уже имеет локализованные версии сервиса в Украине, Казахстане, Беларуси и Турции. Помимо поиска Яндекс предоставляет много дополнительных возможностей, в том числе, бесплатный хостинг Народ.ру, сервис для ведения блога Я.ру, почтовый сервис, рекламная сеть Яндекс Директ, и, кроме того, с недавнего времени Яндекс активно продвигает свой собственный браузер. Помимо основного поиска, Яндекс предоставляет возможность поиска по блогам, картинкам и видео.
В 2011 году был разработан и внедрен новый, метод машинного обучения «Матрикснет», который значительно улучшил качество поиска.
Кроме того, в 2011 году компания Яндекс разместила акции на американской бирже высоких технологий Nasdaq, что является знаковым событием для отечественных интернет-компаний.
В декабре 2012г. Был внедрен новый алгоритм «Калининград», который позволил сделать поиск персонализированным. Это значит, что теперь основным фактором ранжирования является сам пользователь, который формирует запрос для поисковой системы. Другими словами, результаты поиска по одному и тому же вопросу для двух разных пользователей теперь будет различаться в зависимости от нужд и предпочтений самих пользователей. Это новый шаг на пути эволюции поисковых систем.
Кроме того, среди нововведений Яндекса можно отметить:
Краткая характеристика Google
Общепризнанный лидер среди поисковых систем. Поисковая система появилась в 1996 году, и изначала предназначалась для поиска в картотеке библиотеки Стэнфорда. Корпорация Google была основана в 1998 году. В настоящий момент имеет более 100 региональных версий в различных странах. Кроме того, Google это не только поиск, но и еще более 50 различных сервисов, в том числе самый популярный браузер Google Chrome.
С этих двух самых популярных поисковых систем на сайт приходит больше всего посетителей, так что не теряй времени даром, и начинай продвигать свои запросы. Для того, чтобы определить на каком месте твой сайт находится сейчас, советую прочитать статью о том, как проверить позиции сайта в поисковых системах.
Несмотря на все возможности популярных поисковых систем, они не могут решить все проблемы. В частности, ими не всегда удобно пользоваться для поиска научной информации. Для этих целей существуют специальные научные поисковые системы.