Что такое спектр в яндексе
Технология «Спектр»
Когда пользователи задают запросы к Яндексу, примерно в 20% случаев они формулируют запрос неоднозначно. Например, по запросу [наполеон] кто-то хочет найти полководца, а кто-то – рецепт торта. А задавая запрос [суши], человек может искать и ресторан с доставкой на дом, и рецепт блюда. Спектр возможных целей может быть очень широк – так же, как и спектр возможных ответов. И если пользователь не указал в поисковом запросе, что он ищет, то понять это крайне трудно.
Сегодня мы внедрили новую поисковую технологию, которая умеет учитывать множество неявных целей пользователей и показывать соответствующие ответы. Новая технология так и называется – «Спектр».
В основе работы «Спектра» лежит статистика поисковых запросов. Система исследует запросы всех пользователей Яндекса и выделяет в них различные объекты – это могут быть имена людей, названия фильмов и книг, модели автомобилей и тому подобное. Каждый объект относится к одной или нескольким категориям. Например, в запросе [колдрекс инструкция] название лекарства «Колдрекс» — объект, который попадает в категорию «лекарства». А объект «Пушкин» относится к двум категориям — «поэты» и «города». На данный момент «Спектр» выделяет около 60 категорий, и это количество будет еще расти. Знание категорий позволяет поисковой системе понимать разные значения слов в поисковых запросах.
Кроме того, «Спектр» умеет учитывать при поиске различные потребности пользователей. У каждой категории есть список возможных потребностей – тех намерений, с которыми пользователи ищут тот или иной объект. Например, когда люди ищут какой-нибудь товар, они, как правило, хотят купить его или почитать отзывы и обзоры. То есть для категории «товары» среди потребностей будут «купить», «отзывы» и «обзоры». Всего у категории может быть от двух-трех до нескольких десятков потребностей.
С учетом того, в какие категории попал объект, что люди обычно про него спрашивают, что пишут в интернете и т.д. «Спектр» оценивает процент людей, которые ищут этот объект с каждой из возможных целей. Эти данные используются при ранжировании результатов поиска по многозначным запросам. Используя их, «Спектр» вычисляет пропорции, в которых ответы на ту или иную тему должны быть представлены в результатах поиска. Найденные сайты упорядочиваются таким образом, чтобы спектр ответов соответствовал спектру вопросов. Таким образом, поиск Яндекса максимизирует вероятность того, что человек найдет именно то, что искал. Даже если он не указал это явно в своем запросе, а просто подумал.
«Спектр» анализирует поисковые запросы полностью автоматически – каждый раз рассматривается очень большой массив запросов, более пяти миллиардов. Их обработка происходит одновременно на нескольких сотнях машин. Чтобы данные не теряли актуальность, «Спектр» запускает процесс анализа несколько раз в неделю.
Кроме статистики запросов, «Спектр» умеет использовать данные из справочников и энциклопедий – в том числе из Википедии. Это помогает распознавать недавно появившиеся объекты, узнавать, какие значения объектов не укладываются ни в одну из существующих категорий, и добавлять новые.
Технология «Спектр»
Когда пользователи задают запросы к Яндексу, примерно в 20% случаев они формулируют запрос неоднозначно. Например, по запросу [наполеон] кто-то хочет найти полководца, а кто-то – рецепт торта. А задавая запрос [суши], человек может искать и ресторан с доставкой на дом, и рецепт блюда. Спектр возможных целей может быть очень широк – так же, как и спектр возможных ответов. И если пользователь не указал в поисковом запросе, что он ищет, то понять это крайне трудно.
Сегодня мы внедрили новую поисковую технологию, которая умеет учитывать множество неявных целей пользователей и показывать соответствующие ответы. Новая технология так и называется – «Спектр».
В основе работы «Спектра» лежит статистика поисковых запросов. Система исследует запросы всех пользователей Яндекса и выделяет в них различные объекты – это могут быть имена людей, названия фильмов и книг, модели автомобилей и тому подобное. Каждый объект относится к одной или нескольким категориям. Например, в запросе [колдрекс инструкция] название лекарства «Колдрекс» — объект, который попадает в категорию «лекарства». А объект «Пушкин» относится к двум категориям — «поэты» и «города». На данный момент «Спектр» выделяет около 60 категорий, и это количество будет еще расти. Знание категорий позволяет поисковой системе понимать разные значения слов в поисковых запросах.
Кроме того, «Спектр» умеет учитывать при поиске различные потребности пользователей. У каждой категории есть список возможных потребностей – тех намерений, с которыми пользователи ищут тот или иной объект. Например, когда люди ищут какой-нибудь товар, они, как правило, хотят купить его или почитать отзывы и обзоры. То есть для категории «товары» среди потребностей будут «купить», «отзывы» и «обзоры». Всего у категории может быть от двух-трех до нескольких десятков потребностей.
С учетом того, в какие категории попал объект, что люди обычно про него спрашивают, что пишут в интернете и т.д. «Спектр» оценивает процент людей, которые ищут этот объект с каждой из возможных целей. Эти данные используются при ранжировании результатов поиска по многозначным запросам. Используя их, «Спектр» вычисляет пропорции, в которых ответы на ту или иную тему должны быть представлены в результатах поиска. Найденные сайты упорядочиваются таким образом, чтобы спектр ответов соответствовал спектру вопросов. Таким образом, поиск Яндекса максимизирует вероятность того, что человек найдет именно то, что искал. Даже если он не указал это явно в своем запросе, а просто подумал.
«Спектр» анализирует поисковые запросы полностью автоматически – каждый раз рассматривается очень большой массив запросов, более пяти миллиардов. Их обработка происходит одновременно на нескольких сотнях машин. Чтобы данные не теряли актуальность, «Спектр» запускает процесс анализа несколько раз в неделю.
Кроме статистики запросов, «Спектр» умеет использовать данные из справочников и энциклопедий – в том числе из Википедии. Это помогает распознавать недавно появившиеся объекты, узнавать, какие значения объектов не укладываются ни в одну из существующих категорий, и добавлять новые.
Технология «Спектр»
Сегодня была запущена новая поисковая программа «Краснодар», в основу которой легла технология «Спектр».Когда пользователи задают запросы к Яндексу, примерно в 20% случаев они формулируют запрос неоднозначно. Например, по запросу [наполеон] кто-то хочет найти полководца, а кто-то – рецепт торта. А задавая запрос [суши], человек может искать и ресторан с доставкой на дом, и рецепт блюда. Спектр возможных целей может быть очень широк – так же, как и спектр возможных ответов. И если пользователь не указал в поисковом запросе, что он ищет, то понять это крайне трудно.
Сегодня мы внедрили новую поисковую технологию, которая умеет учитывать множество неявных целей пользователей и показывать соответствующие ответы. Новая технология так и называется – «Спектр».
В основе работы «Спектра» лежит статистика поисковых запросов. Система исследует запросы всех пользователей Яндекса и выделяет в них различные объекты – это могут быть имена людей, названия фильмов и книг, модели автомобилей и тому подобное. Каждый объект относится к одной или нескольким категориям. Например, в запросе [колдрекс инструкция] название лекарства «Колдрекс» — объект, который попадает в категорию «лекарства». А объект «Пушкин» относится к двум категориям — «поэты» и «города». На данный момент «Спектр» выделяет около 60 категорий, и это количество будет еще расти. Знание категорий позволяет поисковой системе понимать разные значения слов в поисковых запросах.
Кроме того, «Спектр» умеет учитывать при поиске различные потребности пользователей. У каждой категории есть список возможных потребностей – тех намерений, с которыми пользователи ищут тот или иной объект. Например, когда люди ищут какой-нибудь товар, они, как правило, хотят купить его или почитать отзывы и обзоры. То есть для категории «товары» среди потребностей будут «купить», «отзывы» и «обзоры». Всего у категории может быть от двух-трех до нескольких десятков потребностей.
С учетом того, в какие категории попал объект, что люди обычно про него спрашивают, что пишут в интернете и т.д. «Спектр» оценивает процент людей, которые ищут этот объект с каждой из возможных целей. Эти данные используются при ранжировании результатов поиска по многозначным запросам. Используя их, «Спектр» вычисляет пропорции, в которых ответы на ту или иную тему должны быть представлены в результатах поиска. Найденные сайты упорядочиваются таким образом, чтобы спектр ответов соответствовал спектру вопросов. Таким образом, поиск Яндекса максимизирует вероятность того, что человек найдет именно то, что искал. Даже если он не указал это явно в своем запросе, а просто подумал.
«Спектр» анализирует поисковые запросы полностью автоматически – каждый раз рассматривается очень большой массив запросов, более пяти миллиардов. Их обработка происходит одновременно на нескольких сотнях машин. Чтобы данные не теряли актуальность, «Спектр» запускает процесс анализа несколько раз в неделю.
Кроме статистики запросов, «Спектр» умеет использовать данные из справочников и энциклопедий – в том числе из Википедии. Это помогает распознавать недавно появившиеся объекты, узнавать, какие значения объектов не укладываются ни в одну из существующих категорий, и добавлять новые.
Технология «Спектр»
Что такое «Спектр»?
Любая поисковая система стремится наиболее полно и достоверно ответить на запросы пользователя. Однако существует порядка 20% поисковых запросов, которые не имеют однозначного ответа. Причиной может быть как особенности русского языка (одно слово имеет несколько различных значений), так и неумение пользователя грамотно сформулировать поисковый запрос. За обработку таких запросов и отвечает технология «Спектр».
Спектр – технология, которая учитывает возможные варианты ответов на неявные поисковые запросы и позволяет показать в выдаче разнообразные сайты, стараясь охватить весь спектр пользовательских целей. Технология «Спектр» легла в основу поискового алгоритма «Краснодар».
Как работает технология «Спектр»
Кроме анализа пользователей «Спектр» ориентируется на новые данные в справочниках (например, Википедии) и отслеживает там объекты, которые появились недавно и при необходимости добавляет новые категории.
На базе технологии «Спектр» в поиске Яндекса реализованы диалоговые подсказки. Они появляются под строкой поиска в ответ на неоднозначные запросы. Диалоговые подсказки описывают наиболее популярные категории, в которые попал запрос, и позволяют в один клик перейти к ответам только из выбранной категории.
Пример работы технологии
Рассмотрим в качестве примера работы «Спектра» запрос «суши». Пользователи, которые вводят в поисковую строку Яндекса слово «суши», ищут совершенно разные вещи. Одним необходима доставка домой или в офис, другим рецепты приготовления их в домашних условия, третьи хотят узнать, что они из себя представляют.
В итоге технология «Спектр» на основе проведенного ранее анализа предпочтений пользователей показывает следующие результаты:
Для того чтобы данные в результатах поиска Яндекса были актуальны, технология «Спектр» постоянно анализирует предпочтения пользователей и на основе этих меняется процент, добавляются или удаляются из выдачи сайты различных категорий.
Видео-презентация
Подробную информацию можно получить из записи доклада автора поискового релиза «Спектр» Андрей Плахов, который был представлен на второй технологической конференции Яндекса — Yet another Conference 2011.
Технология «Спектр» значительно улучшила результаты выдачи для пользователей, но усложнила задачу продвижения сайта по неявным запросам. Теперь появилась необходимость гораздо более сложного анализа конкурентов и возможных целей потенциальных потребителей, чтобы своевременно добавить необходимый функционал на свой сайт. Чем больше целей может достигнуть пользователь на вашем сайте, тем больше вероятность того, что он окажется на первой странице выдачи по однословным запросам.
Технология поиска Яндекса «Спектр» — спектральная выдача
Значительная часть пользователей поисковой системы Яндекс формулирует свои поисковые запросы так, что они могут неоднозначно восприниматься. К примеру, по запросу «Цезарь» кто — то может искать рецепт салата, а кто – то биографию древнеримского полководца. Без конкретики и уточнения запроса понять пользователя достаточно сложно.
Технология Спектр была внедрена системой Яндекс в конце 2010 года. Основная ее цель состоит в разнообразии ТОПа поисковой выдачи по запросам, которые предполагают разнообразные потребности у интернет-пользователей. Спектр учитывает эти неоднозначные запросы и выдает адекватные ответы.
Работа Спектра основывается на статистическом исследовании поисковых запросов. Во время обработки запросов система выделяет отдельные объекты и относит их к разным категориям. К примеру, объект «Лермонтов» может относиться к категориям «поэты» и «города». Всего Спектр может выделять примерно шестьдесят категорий.
При поиске технология учитывает и потребности, ожидания пользователей. Каждой категории соответствуют определенные намерения. Например, для категории «сказки» в число потребностей может быть включены «купить», «посмотреть онлайн». Каждая категория может иметь 2-3 или 10-20 потребностей.
С учетом принадлежности объекта к определенной категории и характера запросов Спектр оценивает удельный вес пользователей, которые интересуются объектом с любой, вероятной целью. Потом эта информация используются при ранжировании итогов поисковой выдачи по неоднозначным запросам. Веб — ресурсы выстраиваются таким образом, чтобы спектры вопросов и ответов максимально соответствовали друг другу.
Анализ запросов поисковой системы производится в автоматическом режиме, для актуальности данных процесс запускается многократно в течение недельного периода. Также Спектр использует справочную и энциклопедическую информацию.
Поэтапно работа технологии Спектр выглядит следующим образом:
Технология Спектр максимально приближает поисковую систему к пользователю, персонализирует поиск нужной информации, делает его более корректным для конкретного пользователя.
Методы определения спектральной примеси
Одним из методов определения спектральной примеси является ее отсутствие при добавлении в окончании первоначального запроса @.
Альтернативным способом, позволяющим идентифицировать спектральную примесь, является аналитическое исследование ХМL выдачи. При наличии спектральной примеси в поле name параметра показывается URL документа. Если при этом подмешивается главная страница веб — сайта, то по сравнению с записью имени домена, которая используется для органики, запись главной страницы примеси будет содержать в конце слэш.
К недостаткам такого способа идентификации относится возможное несовпадение XML выдачи с той, которую интернет-пользователь видит в браузере.