Что такое визуальный поиск

Все, что вам нужно знать о визуальном поиске

Визуальный поиск является одной из самых сложных и высококонкурентных областей современного Интернета. Посудите сами: в начале июня поисковая система Bing анонсировала новый режим визуального поиска, который тут же потеснил подобные разработки от Pinterest и Google.

Неудивительно, что визуальный поиск имеет такое важное значение для крупнейших технологических компаний, ведь огромный пласт человеческой культуры представлен разного рода изображениями. Темпы развития этой технологии, безусловно, высокие, но лидера в этом направлении до сих пор нет и, вероятно, не будет еще некоторое время.

За последнее десятилетие поисковая индустрия сумела продвинуться далеко вперед в своем развитии, которое нашло свое отражение, прежде всего, в использовании преимуществ персонализации, разработке механизмов обработки естественного языка и поиска по мультимедиа. Однако потенциал визуального поиска, учитывая роль изображений в нашей жизни, все еще не раскрыт полностью.

Необходимо отметить, что это не связано с недостатком внимания или инвестиций. Совсем наоборот. Прорыв в разработке визуального поиска требует сочетания новаторства в области технологий, более глубокого понимания психологии пользователей и нейронаучных ноу-хау. Все это делает данную область развития весьма увлекательной и перспективной, но вместе с тем далеко не такой простой и преисполненной разного рода подводных камней.

Именно поэтому в данной статье сначала будет дана зарисовка современного состояния визуального поиска и тех проблем, с которыми столкнулись пионеры индустрии, а затем — анализ тех достижений, которые удалось совершить Google, Microsoft и Pinterest.

Что такое визуальный поиск?

Начнем с того, что каждый из нас ежедневно осуществляет визуальный поиск, например, потеряв ключи от дома и пытаясь найти их среди сотни других предметов, находящихся в квартире. Со временем распознавать определенные вещи нам удается все проще и проще.

Для компьютера, однако, эта задача все еще остается довольно сложной.

Поиск изображений, в котором поисковая система принимает текстовый запрос и пытается подобрать наиболее близкое визуальное соответствие, несколько отличается от современного визуального поиска. В ходе визуального поиска запросом является не текст, а некое изображение. Точный визуальный поиск требует от поисковой системы выполнения гораздо более сложных процессов, чем те, которые протекают при традиционном поиске изображений по текстовым запросам.

Как правило, в рамках этого процесса глубокие нейронные сети проходят через ряд тестов, как показано на изображении ниже, чтобы максимально близко имитировать работу человеческого мозга при определении целей:

Поиск по цвету: сходство цели-дистрактора; поиск по форме: задать размер; поиск по цвету: задать размер

Наличие когнитивных искажений, позволяющих людям мгновенно считывать эти закономерности, гораздо труднее интегрировать в машину. По существу, поисковые системы все еще стремятся к тому, чтобы обрабатывать изображения именно так, как мы и ожидаем от них. Но, к сожалению, мы недостаточно хорошо понимаем особенности работы собственного мышления, чтобы иметь возможность воспроизвести их в другой системе.

Тем не менее в этой области достигнут значительный прогресс. Поиск изображений по текстовым запросам в Google, как и в TinEye, значительно улучшился, равно как и поиск по картинке. Это полезная функция, но ее пределы очевидны.

За прошедшие годы Facebook удалось научить систему идентифицировать на фотографиях лица конкретных людей, при этом так же, как данный процесс происходит у человека, когда тот видит лицо своего друга. Данный пример наиболее близок к тому, чтобы полностью раскрыть потенциал визуального поиска, но в данном случае Facebook изначально сориентировал систему на поиск лиц, то есть дал ему четкую цель.

В идеале онлайновый визуальный поиск должен позволить на основе исходного получить другое, связанное изображение. Например, мы могли сфотографировать на смартфон свое кресло, а система подобрала бы подходящие к этому предмету мебели стиль обоев или ковра.

Визуальный поиск Bing

В начале июня на TechCrunch 50 Microsoft объявила, что теперь у пользователей появится возможность осуществлять «поиск по картинке».

Это примечательное событие по ряду причин. Хотя возможность поиска по картинке в Bing присутствовала раньше, Microsoft фактически удалила эту систему в 2012 году. Люди не пользовались данной функцией с момента ее запуска в 2009, поскольку она не была достаточно точной.

Было бы справедливым сказать, что на самом деле Microsoft немного отстает в этой гонке. Конкурирующие с ней поисковые системы и социальные медиа-платформы уже давно обзавелись системами визуального поиска.

Поэтому разумно предположить, что Microsoft все же припасла туз в рукаве и готова предложить потребителям нечто совершенно прорывное, раз она не боится перезапускать свои продукты, сопровождая их публичными заявлениями в таком масштабе. В целом визуальный поиск в Bing по-прежнему представляет собой довольно неплохой инструмент поиска, но называть его революционным пока рано.

Пример поиска в Bing «идей декора кухни» должен продемонстрировать новые возможности визуального поиска этой системы

Визуальный поиск от Bing отличает наличие возможности поиска по какому-либо фрагменту изображения, что, несомненно, может дополнить выбор пользователя.

Пользователь может выделить конкретный объект на изображении, совершить поиск аналогичных предметов и приобрести нечто похожее, если, конечно, у него будет такая потребность. Польза, которую получают от такого поиска интернет-ритейлеры, довольно очевидна.

Стоит отметить, что визуальный поиск Pinterest научился выполнять подобные операции раньше. Но важное отличие между возможностями Pinterest и Bing в том, что что Pinterest может лишь перенаправлять пользователей на пины, которые бизнес сделал доступным на Pinterest, и не все из них могут быть доступны для покупки, тогда как Bing может индексировать веб-сайт продавца и использовать визуальный поиск, чтобы направить к нему пользователя, без дополнительных усилий с обеих сторон.
Используемая технология Silverlight должна сделать визуальный поиск более изысканным. Компания Microsoft представила следующую визуализацию того, как их система обработки запросов работает на этом продукте:

понимание запроса => поиск совпадений => мультиуровневое ранжирование.» src=»https://lh4.googleusercontent.com/11kwP6Btqa2ksXF9LxJ_OMjpIBFWCNkofIXPJyYu2tG04fiZmP9ogNC3Si4vs-JqTQJKqDGQayWwRGu1kKRoZKW9dN8XIdcylL0YLJjCFGRgUTgYi3ZLHh1opRd4UAxoD1NZ95rJ» style=»border: none; transform: rotate(0rad); width: 600px; height: 336px;» />

Запрос «Привет, мир» => понимание запроса => поиск совпадений => мультиуровневое ранжирование.
Запросом выступает изображение => интерпретация изображения (обработка изображения, вывод текстового запроса, запуск сценария) => подбор соответствующих материалов-мультиуровневое ранжирование

Microsoft объединяет эту систему с тем объемом структурированных данных, которыми она владеет, чтобы обеспечить гораздо более богатый и информативный опыт поиска.

Хотя поиск пока еще ограничен такими поисковыми категориями, как посуда, путешествия и спорт, ожидается, что в этом году поиск охватит еще больше областей.

Следующим шагом будет автоматизация частей этого процесса, так что пользователю больше не придется выделять рамкой нужные ему объекты на картинке. Но это все еще далеко от обещанного всем идеального визуального поиска, но и эти обновления уже сейчас позволяют пользователям осуществлять коммерческие запросы.

Google Lens

Google анонсировала продукт под названием Lens в этом году на конференции Google I/O, прошедшей в мае. Предназначение этого продукта — превратить ваш смартфон в мощную систему визуального поиска.

Сфотографируйте что-нибудь, и Google подскажет вам, что за объект вы только что сняли, а также поведает связанную с этим местом или объектом информацию. Наведите свой смартфон на ресторан, к примеру, и Google определит его название, подскажет, посещали ли раньше это заведение ваши друзья, и, конечно, познакомит вас с парочкой отзывов.

С Google Lens камера вашего смартфона будет не только видеть то, что видите вы, но и снабдит вас вспомогательной информацией о предмете вашего интереса

Это дополняется вызывающим зависть у конкурентов огромным запасом данных, который находится в ведении у Google (это и собственная база знаний Google, и вся потребительская информация, которая хранится на серверах компании). Все эти данные подпитывают и уточняют глубокие нейронные сети Google, которые играют ключевую роль в эффективном функционировании продукта.

Принадлежащая Google компания DeepMind находится на передовой в области разработок решений визуального поиска. Таким образом, DeepMind также особенно хорошо знает, насколько сложной является освоение этой технологии.

Трудность заключается не столько в создании нейронных сетей, которые могли бы интерпретировать изображения так же хорошо, как и люди. Главной проблемой (известной под названием black box problem, «проблема черного ящика») является то, что процессы, участвующие в формировании выводов, являются настолько сложными, многогранными и неуловимыми, что даже инженеры Google испытывают трудности в их отслеживании.

Это указывает на довольно острый парадокс, лежащий в основе визуального поиска и, в более широком смысле, использования глубоких нейронных сетей. Цель состоит в том, чтобы имитировать работу человеческого мозга; Однако мы до сих пор не понимаем, как он работает.

В результате DeepMind начали изучать новые методы. В захватывающем блог-посте они кратко изложили выводы недавнего исследования, в рамках которого они применяли индуктивные рассуждения, проявляющиеся в восприятии изображений человеком.

Опираясь на богатую историю когнитивной психологии (богатую по сравнению с зарождающимся полем нейронных сетей), ученым удалось применить в своих технологиях те же искажения (biases), которые наблюдаются у людей при классификации ими предметов.

DeepMind иллюстрирует собственное видение следующим примером:

«Полевой лингвист отправился познакомиться с культурой, язык которой полностью отличается от нашего. Лингвист пытается освоить несколько слов при помощи носителя языка, но вдруг мимо пробегает кролик. Носитель языка восклицает «gavagai», а лингвист пытается сделать вывод о смысле этого восклицания. В этом случае лингвист сталкивается с обилием возможных выводов: слово «gavagai» может служить обозначением кролика, какого-либо животного либо какой-то белой вещи, этого конкретного кролика или какую-то его часть. Существует бесконечное количество возможных выводов, которые могут быть сделаны. Как люди могут выбрать правильный?».

Эксперименты в области когнитивной психологии показали, что люди подвержены «shape bias», искажению формы; так сказать, мы отдадим предпочтение тому варианту, что это все-таки кролик, и не будем фокусироваться на его отдельных характеристиках. Мы осознаем все эти факторы, но выбираем форму в качестве важнейшего критерия.

DeepMind является одним из наиболее важных приобретений Google для работ в области искусственного интеллекта, так что ожидается, что находки, представленные выше, будут включены в визуальный поиск в ближайшем будущем.

Pinterest Lens

Pinterest все больше стремится зарекомендовать себя в качестве поисковой системы, а не социальной сети, для использования которой к тому же не требуются слова; только изображения.

Запуск собственного Lens-продукта в марте этого года было серьезным заявлением о намерениях, и чтобы обеспечить себя резервом для развития, компания переманила из Google несколько видных специалистов, работавших над системой визуального поиска.

Создание платного поискового продукта и предоставление таких услуг, как «Shop the Look» (эта функция позволяет вам находить и покупать вещи, которые вы видите на изображениях) все больше приводит к тому, что Pinterest может стать реальным конкурентом по маркетингу. Вместе с Amazon компания может извлечь выгоду из стремления рекламодателей выйти за пределы Google и Facebook.

На прошедшей в этом году конференции TechCrunch Disrupt президент Pinterest Тим Кендалл (Tim Kendall) отметил следующее: «Мы в состоянии, чтобы перейти к дифференциации и созданию таких вещей, которые другие не могут. Или могут, но из-за природы продуктов для них это не имеет смысла».

Пользователи Pinterest приходят на сайт за чем-то другим, что и позволяет социальной сети предлагать им разные продукты. В то время как Google сражается сразу на нескольких фронтах, Pinterest может сосредоточиться на улучшении своей системы визуального поиска.

Несомненно, эта система требует доработок, но Pinterest Lens можно назвать самым продвинутым инструментом визуального поиска, доступным на данный момент. Со своего смартфона «пиннер» (пользователь социальной сети Pinterest) может загрузить любое изображение в приложение и обработать его с высокой точностью при помощи технологии Pinterest.

Результаты весьма неплохи для таких категорий товаров, как одежда и домашняя утварь, хотя до момента, когда Pinterest можно будет использовать в качестве личного стилиста, технология должна пройти немалый путь развития. Тем не менее на сегодня разработка Pinterest Lens выглядит очень впечатляюще.

Следующим шагом станет монетизация, и Pinterest об этом не забывает. Визуальный поиск станет частью платного рекламного пакета, который, несомненно, будет интересен ритейлерам, стремящимся выйти за рамки таргетинга ключевых слов и поиска в социальных сетях.

Возможно, пройдет немало лет, прежде чем какая-либо из этих и других компаний одержит победу в этой борьбе за превосходство в области визуального поиска, но очевидно, что этот выигрыш сулит несметную прибыль.

Источник

Визуальный поиск – растущий тренд, который вы могли пропустить

Технологии машинного обучения и вычислительные ресурсы, доступные поисковым системам, сделали качественный визуальный поиск реальностью, которая доступна каждому.

Конечно же, текстовый поиск никуда не денется и визуальный поиск его не заменит. Просто доля последнего уже становится ощутимой. При этом большинство владельцев сайтов не прикладывают практически никаких усилий для оптимизации под визуальный поиск.

Давайте подробнее разберемся как это работает, почему важно и как оптимизировать свой сайт под визуальный поиск.

Как это работает и почему важна оптимизация под визуальный поиск?

В основе лежит поиск по изображениям, но речь идет не просто о поиске по изображениям, а именно об использовании самой картинки в качестве поискового запроса.

Если в двух словах, то алгоритм работает следующим образом:

По такому принципу работает Google Lens – функция приложения для поиска Google, которая доступна на смартфонах, и фактически позволяет использовать устройство в качестве визуального поисковика:

Оптимизация сайта под визуальный поиск является очень перспективным направлением работы для ecommerce-сайтов. Но я бы рекомендовал смотреть более широко, ведь практически любой коммерческий проект может привлекать трафик с поиска по картинкам. Для этого нужно, чтобы на нем было достаточное количество страниц с оптимизированными изображениями.

Вот пример переходов с поиска по изображениям на сайт IT-компании, где основным генератором таких переходов является блог:

Оптимизация под визуальный поиск обеспечивает владельцу сайта следующие преимущества:

Вложения времени и денег для оптимизации сайта под визуальный поиск потребуются минимальные. Давайте разберемся, что именно нужно сделать.

Как оптимизировать сайт под визуальный поиск: 7 практических советов

Чтобы успешно решить эту задачу, вам нужно поставить себя на место потенциального клиента и понять, какой результат он хочет видеть (с учетом контекста).

Используйте несколько изображений для продуктов/услуг

И на странице товара, и на странице с описанием услуги можно использовать сразу несколько изображений. Это не только улучшает пользовательский опыт, но и полезно в контексте оптимизации под визуальный поиск. Таким образом вы можете использовать сразу несколько ключевых фраз в их описании и формируете одновременно несколько потенциальных точек входа под поисковый спрос. Заодно можно получить и плюс к конверсии.

Реальные фото вместо стоковых

Чем более реалистичными будут ваши фотографии, тем выше будет уровень доверия пользователей к сайту. Качественные, а особенно уникальные фото, выделяются из общего числа при просмотре пользователем выдачи и лучше ранжируются поиском по целевым запросам.

Многие сайты используют одни и те же картинки из фотостоков, и алгоритмам сложно ранжировать их. Использовать собственные фото – самый простой способ выделиться, который работает.

Сделайте отдельный файл sitemap для изображений

Создав дополнительную карту сайта для файлов изображений, можно предоставить поисковым роботам больше информации о таком контенте на вашем сайте. Это повышает процент их индексации, а значит и вероятность того, что они появятся в визуальном поиске.

Но данный пункт актуальный скорее для больших сайтов, тех же интернет-магазинов, сайтов с объявлениями, каталогов, т.к. на небольших проектах изображения и так без проблем будут проиндексированы.

Оптимизируйте размер файлов

Изображения могут быть красивыми, оптимизированными и уникальными, но какой толк, если пользователь так и не дождется их загрузки? Изображения в высоком качестве — это безусловно хорошо. Но только не в том случае, если данный момент негативно влияет на загрузку.

Внимание на качество и размер

Фотографии в высоком разрешении смотрятся качественно на любом устройстве, а не только на мобильных. Даже на смартфоне видно, если картинка с артефактами, пережата при сохранении и имеет прочие проблемы с качеством. Как минимум, это смотрится непрофессионально.

Поведенческие факторы тоже играют свою роль, и кликабельность изображений низкого качества среди результатов выдачи всегда будет ниже. Ведь люди обычно ищут файлы хорошего качества и в высоком разрешении, а не очередную миниатюру.

Рекомендованный размер изображений для загрузки на сайт – от 1200 пикселей по ширине.

Всегда используйте альтернативный текст (атрибут Alt)

Альтернативный текст изначально предназначался для удобства восприятия пользователей, если изображение по какой-то причине не загрузилось.

В SEO содержимое атрибута Alt играет важную роль, поскольку поисковые системы считывают с них информацию о том, что именно изображено на картинке. Это помогает им лучше понять контекст изображения.

Вот несколько советов по работе с альтернативным текстом:

Подписывайте изображения

Помимо указания альтернативного текста в ALT, что является уже стандартом, можно дополнительно прописывать и содержимое Title для изображений, которое выводится в качестве подписи,. Например, в WordPress для этого есть отдельное поле в описании медиафайла:

Текст в заголовке служит дополнительным контекстом для поисковых систем. Таким образом, можно уникализировать изображения, если, к примеру, понадобится использовать несколько одинаковых картинок на странице.

Итоги

Визуальный поиск пользуется особенной популярностью среди молодой аудитории, у него много преимуществ как для пользователей, так и для бизнеса. А в оптимизации сайта под этот вид поиска нет ничего затратного или сложного.

Чем раньше вы начнете работать в этом направлении, тем больший отрыв от конкурентов сможете получить. Не стоит недооценивать потенциал визуального поиска и упускать возможность получить дополнительный трафик и продажи.

Надеюсь, эта статья поможет вам начать действовать. Если есть вопросы – пишите в комментариях!

Источник

Визуальный поиск: как найти в сети нужный контент по картинке

Наверняка вы слышали про визуальную социальную сеть Pinterest. Это огромная база картинок, под завязку набитая увлекательными идеями поделок, вещей ручной работы, косметики и рецептов. В начале 2017 года Pinterest выкатил сервис Объектив (Lens): его цель — предложить поиск с помощью камеры, чтобы пользователи могли найти онлайн то, что встретили в реальной жизни. Предлагаем познакомиться с данной разработкой и оценить возможности визуального поиска для вашего бизнеса.

Объектив работает на мобильном приложении социальной сети (для Android и iPhone) и позволяет посредством камеры или картинки находить в огромной графической базе связанный с запросом контент. Причем он может быть совершенно из разных категорий: еда, шоппинг, творчество и так далее.

Идея казалась амбициозной, однако тогда Pinterest заявил, что его технология Объектив все еще находилась в стадии разработки, поощряя пользователей помочь компании в создании мощного инструмента:

«Объектив все еще учится и не всегда точно распознает то, что вы ищете».

«Если вы получаете нерелевантные результаты, нажмите кнопку «+», чтобы добавить отзыв и помочь инструменту эффективнее отыскивать идеи, навеянные тем, что вы сейчас искали».

Как развился спустя чуть более года данный инструмент? Об этом нам поможет узнать обзор авторитетного западного ресурса SearchEngine Watch.

Эволюция Объектива

В новостном посте по поводу годовщины работы Объектива Pinterest представил некоторые важные статистические данные о становлении этого инструмента:

Согласно данным Pinterest, чем больше людей использует такой поиск, тем лучше становится Объектив. Несколько новых разработок, сделанных за последний год, также способствовали росту его популярности:

Технология визуального поиска теперь знает в пять раз больше вещей, чем год назад. Это означает, что вы можете со все возрастающей точностью искать рецепты, одежду и бесконечное количество товаров для дома.

Что будет с Объективом дальше?

Pinterest анонсировал свой следующий шаг — добавление изображения в текстовый поиск (сначала в приложении для iOS). Это поможет покупателям находить информацию о товаре. Например, они видят бижутерию в офлайн-магазине и с помощью Объектива ищут ее в Pinterest. Если для данного продукта нет возможности сделать покупку через товарный пин, покупатель может использовать изображение, чтобы включить текстовый поиск и найти больше информации. Ожидается, что данная функция скоро будет доступна и для пользователей Android.

Будущее визуального поиска

Рост популярности Объектива говорит о том, что визуальный поиск стабильно набирает обороты как полезный инструмент, а не просто новинка. Кроме того, Pinterest не является единственным игроком на рынке: через три месяца после запуска Объектива Google дебютировал со своей собственной версией инструмента Google Lens.

Визуальный поиск Google Lens

Вскоре после этого Bing обновил возможности своего визуального поиска, что позволило пользователям искать конкретный предмет на изображениях — ощутимо похожая на Pinterest функция.

Визуальный поиск Bing

Интерес производителей и ритейлеров

Pinterest понимает ценность своего продукта и движется в правильном направлении, пытаясь сделать его прибыльным. В соцсеть с предложением сотрудничества уже приходят торговые марки из разных областей: от моды до дизайна и от еды до мебели. С внедрением товарных пинов Pinterest смог монетизировать это вдохновение, дав людям возможность на деле покупать элементы нового дома, сада или одежды своей мечты.

Один из ведущих мировых новостных порталов Business Insider предсказывает светлое будущее визуальному поиску: «Имеются убедительные доказательства того, что технология визуального поиска на мобильных устройствах пойдет в гору, включая рост доступа к этой технологии, высокий уровень применения приложений, использующих камеру, и первые признаки потенциального роста выручки».

Присмотритесь к Pinterest: в отличие от Instagram конкуренция в нем не такая жестокая, а число пользователей неуклонно растет. Продвигайте товары и услуги с помощью визуального контента, расширяйте зону присутствия и используйте партнерские сервисы для роста продаж.

Источник