Что такое сбер devices
Стоит ли пользоваться СберДевайсами — тестируем гаджеты от Сбера
На презентации СберКонф, прошедшей осенью 2020 года, Сбер представил свои новыми гаджеты — ТВ-приставку СберБокс и смарт-дисплей СберПортал. Зимой того же года они поступили в продажу. Устройство Сбера вызывали интерес, но их реализация вызывала сомнения — это подтвердили и смешанные отзывы пользователей.
Мы решили сами заказать и изучить новые устройства Сбера, чтобы проверить, стоят ли они внимания. О нашем опыте пользования ими мы расскажем в этой статье. Вы узнаете, что предлагают сейчас устройства, какие у них есть проблемы и стоят ли они своих денег.
Что предлагают гаджеты Сбера?
Первым, осенью 2020 года, был выпущен СберБокс. Это приставка, которая подключается к телевизору и позволяет просматривать контент из интернета — например, фильмы из онлайн-кинотеатра. СберБокс должен сделать доступнее для пользователя различные сервисы экосистемы, которыми можно пользоваться и при наличии телевизора без функций Smart TV.
Позднее, ближе к концу года, в продажу поступил СберПортал. По сути, он представляет собой колонку со встроенным сенсорным планшетом. Сбер позиционирует его как более функциональное универсальное устройство, подходящее для повседневного использования, и альтернативу обычным умным колонкам.
В оба устройства встроен голосовой помощник Салют. Основное взаимодействие с ними происходит именно через него. Умные устройства должны расширить функционал Салюта и сделать его более пригодным для постоянного пользования.
Как купить устройства
Приобрести СберБокс и СберПортал можно в разделе «Магазин» на официальном сайте СберДевайсов. Для этого достаточно выбрать интересующее предложение и нажать кнопку «Купить», затем перейти в корзину и там нажать «Оформить заказ». В форме укажите ФИО и контактные данные, адрес, дату и время доставки. Затем оплатите заказ безналичным способом. При использовании карты Сбербанка можно погасить часть стоимости бонусами Спасибо.
Оба гаджета можно приобрести как с единовременной оплатой, так и по подписке с дополнительными бонусами. Стоимость устройств Сбера представлена в таблице:
3 месяца подписки на СберЗвук за 1 рубль
3 месяца доступа к пакету ТВ-каналов Смотрешки Silver от Лайфстрим за 1 рубль
Отдельно за 390 рублей можно купить запасные мобильные джойстики для приложения Сбер Салют.
Доставка работает почти во всех городах присутствия Сбера. Примерный срок, в зависимости от региона — до 3-4 недель. Самовывоз или заказы офлайн (например, в отделениях банка) пока не предусмотрены.
Оба устройства также доступны и в ряде других интернет-магазинов,включая Ozon, Ситилинк и AliExpress. Здесь их цена может быть выше или ниже установленной на сайте Сбера, но дополнительные бонусы и рассрочка для них могут быть недоступны.
Подключение, настройка и использование
Для первоначальной настройки и управления девайсами используется приложение Сбер Салют, доступное для Android и iOS. После его установки нужно войти в него по Сбер ID (используется тот же пароль, отпечаток пальца или снимок лица, что и для Сбербанка Онлайн).
Если вы не являетесь клиентом Сбербанка, то зарегистрировать Сбер ID можно непосредственно в приложении или у одного из партнеров.
Перед началом работы СберПортал достаточно подключить к сети — для этого в комплекте есть блок питания и USB-кабель. СберБокс также требуется вставить в HDMI-разъем телевизора. При первом запуске устройство потребует подключения к интернету через Wi-Fi и установки обновлений, которые загрузятся автоматически. После этого нужно найти устройство по его идентификатору в разделе «Устройства» в приложении Сбер Салют и выбрать его. Затем на экране появится код, который нужно ввести в приложении. Это требуется для синхронизации со смартфоном и Сбер ID. После этого гаджет будет готов к работе.
Посмотреть идентификатор устройства еще раз можно в его настройках (кнопка в правом верхнем углу экрана).
СберБокс управляется пультом, который идет в комплекте с приставкой. Вместо него можно использовать пульт в приложении — для этого перейдите в соответствующий раздел. Для управления указателем здесь используется верхняя панель, внизу расположены кнопки для отключения звука, возврата на начальный экран и некоторых других команд. Если развернуть смартфон горизонтально, то пульт перейдет в игровой режим.
Чтобы использовать смартфон как пульт, необходимо подключить его к той же сети Wi-Fi, что и устройство.
СберПортал не требует отдельных устройств — он управляется с помощью сенсорного экрана и голосовых команд для Салюта. Также он распознает жесты (список доступных команд есть в соответствующем разделе на главном экране) и лицо (для этого нужно зарегистрировать профиль пользователя — кнопка в правом нижнем углу). При необходимости микрофон у устройства можно отключить аппаратно кнопкой в верхней части планшета, а камеру — закрыть магнитной крышкой, которая идет в комплекте. Как и СберБокс, смарт-дисплей может управляться с помощью смартфона.
Доступные функции и сервисы у обоих гаджетов примерно одинаковы. В них включены СберЗвук, онлайн-кинотеатр Okko, просмотр новостей (текстовых или в озвучке Салюта), телевидение и радио. Предусмотрен небольшой набор игр — аркадных и головоломок. Для СберБокса также запущен облачный игровой сервис SberPlay, работающий в тестовом режиме. В СберПортале работают видеозвонки, использующие инструменты мессенджера Telegram.
В меню «Приложения» можно добавить новые сервисы и функции для Салюта — от заказа доставки продуктов до управления картами Сбербанка. Добавленное приложение можно запустить голосовой командой или выбрать на главном экране. Пока все доступные приложения бесплатные, если не считать внутренних покупок в сервисах.
Использовать карту Сбербанка для платежей в приложениях не обязательно, но при ее наличии могут присутствовать дополнительные бонусы (например, скидки или использование баллов Спасибо). По умолчанию деньги списываются с основной карты, привязанной к Сбер ID. При необходимости дополнительного подтверждения сервис перенаправит действие в смартфон.
Для вызова Салюта в СберБоксе достаточно нажать кнопку с его логотипом на пульте. В СберПортале для этого нужно сказать «Салют» или показать камере соответствующий жест. Помощник имеет все требуемые функции — например, он может сообщить погоду, поставить будильник или искать различную информацию. Он может и общаться на отвлеченные темы.
Впечатления от пользования устройствами Сбера
После месяца пользования об устройствах Сбера сложилось двойственное мнение. Сейчас и у СберБокса, и у СберПортала есть как преимущества, так и достаточно существенные недостатки. Разберем их подробнее.
Положительные
Оба устройства легко подключаются и настраиваются — для этого достаточно включить их в сеть, загрузить приложения и привязать их к нему. К одному приложению можно подключить любое количество гаджетов обоих типов. А при необходимости можно привязать приставку или смарт-дисплей к другому приложению, если ввести в него нужный код.
И приставка, и смарт-дисплей предоставляют все необходимые для мультимедиа-системы функции. Несмотря на то, что они рассчитаны на использования внутри экосистемы Сбера, для них доступно достаточно много контента. Возможно, когда к разработке приложений подключится больше сторонних разработчиков, у доступных сервисов появится больше альтернатив, не входящих в Сбер.
Управление устройствами с помощью Салюта работает достаточно стабильно. Помощник быстро откликается и обрабатывает команды. При этом голос распознается вполне хорошо, несмотря на посторонние шумы, если находиться в пределах комнаты. Качество звука у СберПортала на достаточно высоком уровне — это заметно при наличии подписки на СберЗвук в высоком качестве.
Отрицательные
В первую очередь, можно отметить ошибки в работе гаджетов: некоторые пункты меню могут не открываться, соединение с интернетом — пропадать без видимых причин. СберПортал не сразу распознает жесты и лицо пользователя. Управление СберБоксом при помощи телефона не самое удобное: указатель двигается слишком резко, а мобильные джойстики часто не прожимаются (проверено на iPhone и нескольких Android-смартфонах). Поиск и фильтрация контента реализованы неудачно (например, в Okko нельзя отделить бесплатную коллекцию от платной, не предусмотрен детский режим). Настройки обоих устройств ограничены: нельзя, например, вынести новые приложения на основной экран или откатить параметры до заводских.
Много проблем есть у Салюта. Пока помощник распознает речь не до конца и понимает не все формулировки команд, из-за чего пользователь должен подстраиваться под него, а не наоборот. «Личность» Салюта носит, по большей части, косметический характер — от нее зависят только озвучка и отдельные реплики.
Некоторые сервисы, доступные через Салют — например, доставка продуктов или запись в различные заведения — еще работают в ограниченном режиме и только в регионах, где они присутствуют. Уточнять поддержку тех или инфых функций в регионе потребуется заранее. Видеошопинг работает только в отдельном наборе фильмов от Okko, а предлагаемые товары распознаются не всегда и не сразу.
СберПортал позволяет давать команды Салюту текстом — для этого предусмотрена экранная клавиатура, которая вызывается кнопкой в правом нижнем углу. У СберБокса такой функции нет.
С технической точки зрения у обоих гаджетов не так много серьезных проблем. Не слишком удачной можно назвать конструкцию СберПортала — более удобным вариантом мог бы быть планшет с отдельными колонками, которые можно закрепить на стене или разместить на подставке. Кнопки регулировки громкости и выключения микрофона ощущаются слишком дешевыми для такого устройства. Крышку для камеры стоило бы прикрепить к корпусу — в изначальной конструкции она не закреплена и ее легко потерять. У СберБокса проблем меньше, не считая короткого HDMI‑кабеля, который нельзя заменить, и отсутствия режима указки у пульта.
Стоит ли покупать СберБокс и СберПортал в 2021 году?
По нашему мнению, сейчас эти устройства выглядят перспективными, но слишком сырыми. Если сравнивать с аналогами, то их функционал, в том числе и голосовой помощник, достаточно ограничен. При этом цена у этих устройств выглядит завышенной (особенно при покупке в рассрочку), что может отпугнуть многих потенциальных пользователей.
Проблемой становится и завязанность на внутренних продуктах экосистемы. Из-за этого устройства могут быть неудобны для тех, кто не пользуется сервисами Сбера или предпочитает их аналоги. Но для того, кто не выходит из экосистемы, подобные гаджеты могут быть вполне удобными, особенно после исправления большей части ошибок.
Если вы планировали покупать СберБокс или СберПортал — лучше подождать второй половины года. Так у Сбера будет больше времени, чтобы исправить ошибки и добавить новый функционал. В текущем виде недостатки слишком сильно перевешивают преимущества.
Заключение
Нам не до конца понятно, на кого рассчитаны СберБокс и СберПортал. При таких функциях, характеристиках и цене они смогут заинтересовать очень узкую, особенно в масштабах Сбера, группу пользователей. Помешать использованию могут и внутренние проблемы экосистемы, в том числе ее привязанность к банку.
Возможно, Сбер выпустил собственные гаджеты слишком поздно — на рынке уже достаточно аналогов, в том числе от российских экосистем, с равным или более широким функционалом. Устройства от Сбера на их фоне выделяются преимущественно только интеграциями с собственными сервисами. Скорее всего, они продолжат развиваться в этом направлении.
Представленные в 2020 году гаджеты от Сбера — ТВ-приставка СберБокс и смарт-дисплей СберПортал — получились спорными. У них есть как преимущества, так и явные недостатки:
Уже купили новые гаджеты Сбера или только собираетесь? Что думаете о подобных устройствах? Поделиться своим мнением или опытом использования можно в комментариях.
Уже купили новые гаджеты Сбера или только собираетесь? Что думаете о подобных устройствах? Поделиться своим мнением или опытом использования можно в комментариях
Источники
Главный редактор #ВЗО. Работает на сайте с момента основания. Через Юрия проходят все тексты перед размещением на сайте. Быстро вникает в темы, на которые пишут авторы, включая финансовую, и следит за качеством публикуемых материалов.
ТВ-приставка или умная колонка с камерой? Всё и сразу: новое устройство от SberDevices
Сегодня команда SberDevices представила своё новое устройство, объединяющее в себе возможности ТВ-приставки и умной колонки с камерой – SberBox Top.
Это медиацентр с AI-камерой, который подключается к телевизору. В нём, как и в других устройствах Sber, живут виртуальные ассистенты Салют, доступен каталог приложений, созданных для них, сервисы экосистемы Сбер. С помощью девайса можно смотреть фильмы и ТВ-каналы, сёрфить видео в интернете, слушать музыку, играть, управлять умным домом, заказывать доставку продуктов, используя управление голосом, пультом или жестами.
Видеозвонки на большом экране будут полезны и во время рабочих встреч, и при общении с родственниками и друзьями. Детям, кстати, очень нравится видеть себя на экране телевизора. Пожилые люди с не очень хорошим зрением тоже будут рады возможности рассмотреть любимых внуков. Звонки работают на базе сервисов Telegram и новой видеоплатформы для общения Jazz by Sber. С её помощью можно создавать и проводить видеовстречи до 100 человек без ограничения по времени с возможностью синхронного прослушивания музыки и просмотра видео в интернете.
Умная камера будет держать вас в фокусе во время всего звонка, даже если вы перемещаетесь по комнате. А матрица из 6 микрофонов позволит устройству услышать вас из любой точки комнаты. Впрочем использовать пульт для голосовых команд тоже можно. Камеру и микрофонную матрицу SberBox Top унаследовал от SberPortal.
Ещё из интересного. AI-камера позволяет использовать устройство для продуктивных занятий спортом с интерактивными приложениями для фитнеса и йоги. Она считывает положение тела и позволяет отслеживать правильность выполнения упражнений, а также прогресс в режиме реального времени на большом экране. Эта функциональность будет особенно полезна для тех видов спорта, в которых имеет большое значение положение тела.
Кстати, устройство может работать и как умная колонка в no screen-режиме, то есть при выключенном телевизоре. Ассистенты Салют ответят на любой запрос, не требующий использование экрана: поддержат разговор, расскажут прогноз погоды и курсы валют, включат музыку, приглушат свет.
Приватность
Индикаторы, расположенные на фронтальной части устройства, подскажут, когда микрофон и камера активированы (горит зелёным), а когда – нет (горит красным).
Если пользователь не хочет, чтобы устройство реагировало на его жесты или ему не нужно видео во время звонка, достаточно закрыть объектив механической шторкой – датчик отключит камеру на системном уровне. Микрофоны можно обесточить нажатием кнопки mute.
Все вычисления и обработка видео, алгоритмы компьютерного зрения для узнавания лиц и определения жестов работают в самом устройстве, а видеопоток с камеры не передается в облако.
Технические характеристики
Что в комплекте
В комплект помимо самого девайса входят пульт и батарейки, джойстики, которые помогут превратить смартфон в геймпад, адаптер питания, HDMI-кабель, инструкция и стикеры. Для использования SberBox Top нужен лишь телевизор с HDMI-входом и питание от сети.
Дизайн
Над дизайном устройства мы работали вместе с дизайн-хаусом notAnotherOne – как и в случае со смарт-дисплеем SberPortal, который в этом году получил три награды: две международной премии Red Dot Award и IF Design Award.
В итоге получился компактный девайс – 178 х 66 х 25,6 мм – весом всего в 300 г. Он поместится даже в дамскую сумочку, так что его без проблем можно взять с собой в поездку или в гости.
Возможности для разработчиков
SberBox Top обладает мощным CPU, а также ядрами GPU и NPU (для нейронных сетей). Благодаря этому разработчики могут создавать требовательные приложения – например, игры с распознаванием жестов и трекингом поз. Можно использовать собственные сетки или наши SDK.
Также девайс позволяет управлять ТВ и внешними устройствами через IR-модуль. А ещё можно взаимодействовать с пользователем с помощью LED-анимации – световых индикаторов на устройстве.
О компании «SberDevices»
SberDevices — молодая IT-компания, созданная в 2019 году (входит в группу компаний Сбербанк). У нас работают талантливые инженеры, разработчики и менеджеры, состоявшиеся как специалисты с опытом работы в ведущих IT-компаниях России. Продукты SberDevices создают более 600 человек, и каждый день наша команда растёт.
Что мы делаем?
Вместе мы создаём современные модели обработки естественного языка (NLP — Natural Language Processing), речевые технологии, алгоритмы компьютерного зрения, разрабатываем системы биометрии, модели для генерации медиаконтента и даже нейроинтерфейсы. Мы используем последние разработки в области искусственного интеллекта и машинного обучения.
Благодаря использованию самого быстрого в России суперкомпьютера «Кристофари», мы можем обучать уникальные модели, собственные аналоги знаменитых GPT-3 и T5, обозначающие новые вехи в развитии нейросетевых технологий.
Перед нами стоит амбициозная задача: сделать новейшие технологии максимально доступными в повседневной жизни, помочь им раскрыться и практически, и коммерчески.
На рынке появляются сервисы и умные устройства от SberDevices. Скоро таких устройств станет больше! Приходи к нам, чтобы создавать девайсы, которыми будут пользоваться твои друзья и соседи.
Почему у нас комфортно работать?
У нас нет строгого дресскода. Мы не усложняем коммуникации излишним официозом: даже джуниор может обратиться напрямую к руководителю любого уровня, чтобы оперативно решить рабочий вопрос.
Все члены команды свободны в выборе рабочего места и времени, и самостоятельно решают, как организовать свой рабочий день для достижения наилучшего результата.
Коллеги всегда рядом, чтобы помочь словом и делом — вы никогда не останетесь один на один со своей проблемой.
Мы сотрудничаем с ведущими производственными и исследовательскими коллективами во всём мире, участвуем в ведущих мировых научных конференциях. Поэтому, работая в нашей команде, вы получите доступ к актуальным знаниям и мировому опыту.
Мы убеждены, что только в атмосфере свободы, доверия и взаимоуважения рождаются правильные технологии!
Кого мы ищем?
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Специалисты junior-, middle- и senior-уровней — нам нужны все. Новички найдут для себя интересные задачи и смогут вырасти. Опытные профессионалы оценят амбициозность и масштабность наших проектов.
Мечтаешь работать на переднем крае технологий и создавать нужные людям продукты, которыми сможешь гордиться? Тебе к нам!
Используй возможность стать частью грандиозных релизов — подписывайся на вакансии от SberDevices!
Что такое сбер devices
Наше семейство моделей ruGPT-3 уже нашло множество применений у сообщества: кто-то генерирует гороскопы, кто-то — факты о лягушках, статьи нейроуголовного кодекса, нейроновости и прочее. Модели накопили в себе массу знаний о нашем мире и способны подстроиться практически под любую задачу. Тем не менее, в данный момент подобная подгонка (fine-tuning) часто требует значительных вычислительных затрат, что не всегда позволяет использовать достаточно большие модели. В этом посте мы предлагаем сообществу новый инструмент для того, чтобы дообучать ruGPT-3 под свои нужды и делиться своими результатами с другими.
Новости
Уникальный авторский стиль – теперь в эмодзи: как мы обучили модель Emojich, позволяющую генерировать эмодзи по описанию
SymFormer: как мы написали музыку с помощью трансформеров и вариационных автоэнкодеров
Когда вы слышите слово «творчество», какие ассоциации приходят к вам в голову? Скорее всего, не в последнюю очередь вы подумаете о музыке. Зачастую она — прямое выражение глубоких эмоций и переживаний. Как будто из идеального мира Платона к нам проникает свет, который композитор просто записывает в виде нот. Возможно поэтому мы и считаем музыку творчеством в чистом виде. Музыка — проявление глубинных эмоций. Как же ИИ может создавать её, не испытывая эмоций?
В этой статье я расскажу, как наша команда Управления экспериментальных систем машинного обучения SberDevices попыталась формализовать сочинение музыки и научить ему нейронную сеть. Запускайте наш первый генеративный альбом «Thriving Machine» и устраивайтесь поудобнее.
Генеративные диалоговые модели: как мы разговорили виртуальных ассистентов Салют
Порой люди обращаются к искусственному интеллекту не для того, чтобы заказать еду, найти подходящий фильм или решить какую-то ещё свою задачу, а для того, чтобы просто поболтать. Например, потому что грустно, а рядом нет тех, с кем было бы удобно про это поговорить. И пусть виртуальные помощники пока не заменяют настоящих друзей или близких людей (они и не должны), но всё же они могут поднять настроение, помочь снизить уровень напряжения. Чтобы такое общение было живым и действительно интересным, мы разработали и применяем мощные разговорные модели на русском языке для виртуальных ассистентов Салют в режиме «Собеседник». Так, за Сбера с пользователем общается SBERT (retrieval-модель), за Джой — ruGPT-3 (генеративная модель), а за Афину — обе сразу. Поговорим сегодня о генеративной части.
Передаю слово моему коллеге, руководителю RnD NLP SberDevices Валерию Терновскому.
ruDALL-E: генерируем изображения по текстовому описанию, или Самый большой вычислительный проект в России
2021 год в машинном обучении ознаменовался мультимодальностью — активно развиваются нейросети, работающие одновременно с изображениями, текстами, речью, музыкой. Правит балом, как обычно, OpenAI, но, несмотря на слово «open» в своём названии, не спешит выкладывать модели в открытый доступ. В начале года компания представила нейросеть DALL-E, генерирующую любые изображения размером 256×256 пикселей по текстовому описанию. В качестве опорного материала для сообщества были доступны статья на arxiv и примеры в блоге.
С момента выхода DALL-E к проблеме активно подключились китайские исследователи: открытый код нейросети CogView позволяет решить ту же проблему — получать изображения из текстов. Но что в России? Разобрать, понять, обучить — уже, можно сказать, наш инженерный девиз. Мы нырнули с головой в новый проект и сегодня рассказываем, как создали с нуля полный пайплайн для генерации изображений по описаниям на русском языке.
В проекте активно участвовали команды SberAI, SberDevices, Самарского университета, AIRI и SberCloud.
Мы обучили две версии модели разного размера и дали им имена великих российских абстракционистов – Василия Кандинского и Казимира Малевича:
1. ruDALL-E Kandinsky (XXL) с 12 миллиардами параметров;
2. ruDALL-E Malevich (XL), содержащая 1,3 миллиарда параметров.
Некоторые версии наших моделей доступны в open source уже сейчас:
2. Sber VQ-GAN [GitHub, HuggingFace]
Две последние модели встроены в пайплайн генерации изображений по тексту (об этом расскажем ниже).
Версии моделей ruDALL-E Malevich (XL), ruDALL-E Kandinsky (XXL), ruCLIP Small, ruCLIP Large, Super Resolution (Real ESRGAN) также скоро будут доступны в DataHub.
Обучение нейросети ruDALL-E на кластере Christofari стало самой большой вычислительной задачей в России:
1. Модель ruDALL-E Kandinsky (XXL) обучалась 37 дней на 512 GPU TESLA V100, а затем ещё 11 дней на 128 GPU TESLA V100 — всего 20 352 GPU-дней;
2. Модель ruDALL-E Malevich (XL) обучалась 8 дней на 128 GPU TESLA V100, а затем еще 15 дней на 192 GPU TESLA V100 – всего 3 904 GPU-дня.
Таким образом, суммарно обучение обеих моделей заняло 24 256 GPU-дней.
Разберём возможности наших генеративных моделей.
Как увидеть в фильме больше, чем способен человеческий глаз?
Обращали ли вы когда-нибудь внимание на то, сколько всего в кадре упускает наш мозг при просмотре фильма? Каждый раз, когда вы пересматриваете своё любимое кино, вы замечаете что-то новое.
А помните ли вы диван, на котором так уютно сидели “Друзья” в квартире Моники и Рейчел? Наверняка, у нас всех в памяти хранится его общий вид, но когда заходишь в магазин и хочешь купить такой же, вряд ли вспомнишь всё в деталях.
В момент просмотра фильма, мы часто сфокусированы на сюжете и происходящем на переднем плане, из-за чего можем упускать детали, без которых фильм может показаться не столь продуманным.
Но не беспокойтесь. В 2021 это больше не проблема, ведь теперь есть платформа компьютерного зрения Layer, которая смотрит кино вместе с вами. От неё никаким деталям не спрятаться и не скрыться. Давайте заглянем “под капот”?
Оплата не отходя от девайса: как мы реализовали персонализацию в устройствах Sber с помощью распознавания голоса и лица
Сегодня на рынке изобилие умных домашних устройств. Часто они становятся своего рода центром дома – инструментом, к которому обращаются домочадцы с разными задачами: узнать погоду, найти фильм, заказать еду или такси. Некоторые сценарии платные, и проводить оплату хочется, с одной стороны, быстро и удобно, без лишних телодвижений – чтобы не нужно было брать в руки телефон, заходить в онлайн-банк, вводить реквизиты или коды из пуш-уведомлений. А с другой стороны, хочется безопасности и защищённости, чтобы ребенок, например, не заказал ящик мороженого без ведома взрослых. Мы в SberDevices занялись вопросом персонализированных оплат на наших умных устройствах и придумали, как это сделать с помощью распознавания лица и голоса пользователя. В области лицевой биометрии нашим технологическим партнёром стала команда VisionLabs.
Светодиодная матрица: управляем домашним уютом с помощью голоса
Сейчас стало достаточно модно украшать свои дома с помощью светодиодов. Обычной светодиодной лентой, даже с голосовым управлением, уже сложно удивить кого-либо. Но очень часто забывают, что, расположив светодиоды в виде квадрата или прямоугольника, можно создать что-то похожее на многопиксельный экран. С его помощью можно оживить обстановку в помещении, например отображать на нём прогноз погоды или просто весёлые картинки.
Сегодня и мы попробуем сделать что-то такое, а также добавим управление голосом с помощью виртуальных ассистентов Салют.
Когда используется Power Delivery, и что происходит при установлении соединения между блоком питания и устройством
В прошлый раз я рассказывал про минимальный набор компонентов, который может быть включён в устройство для поддержки базовых функций USB-C. Но бывают ситуации, когда этих базовых возможностей недостаточно – например, нужно использовать несколько профилей напряжения, чтобы блок питания от одного устройства подходил к другому. Или же есть необходимость подстроить сами профили. Или просто нужна бОльшая мощность питания (в случае с USB-C доступный максимум – 15 Вт). Во всех этих ситуациях на помощь придёт стандарт Power Delivery. Он, например, используется в линейке зарядных устройств Apple – профили с бОльшим напряжением доставляют бОльшую мощность к устройству и позволяют его быстро заряжать. В нашем смарт-экране SberPortal есть узлы, которые требуют значительной мощности питания – прежде всего это высокопроизводительная система на кристалле (SoС) и акустика. Один только звук требует около 30 Вт. Поэтому при разработке устройства пришлось усложнить систему питания и реализовать Power Delivery. Об этом стандарте и пойдёт ниже речь.
Также разберёмся в его особенностях и посмотрим, как со временем изменился способ передачи данных в стандарте. А ещё я расскажу и покажу с помощью анализатора протокола, что происходит при установлении подключения в устройствах, на примере ноутбука с Power Delivery. Затем посмотрим, как мы реализовали PD в нашем смарт-экране SberPortal.
Как устроена аппаратная часть SberBox Top: разбираем девайс
За последние два года команда SberDevices запустила серийное производство нескольких устройств: ТВ-приставки SberBox, смарт-экрана SberPortal, ТВ-медиацентра с умной камерой SberBox Top. Последний значительно расширил функциональность такого типа устройств за счёт камеры, микрофонной матрицы и акустики, а также виртуальных ассистентов на борту. С помощь SberBox Top можно смотреть фильмы и ТВ-каналы, видео в интернете, слушать музыку, заказывать доставку продуктов, управлять умным домом. АI-камера позволяет играть в игры с распознаванием жестов, устраивать AR-спектакли с детьми, проводить видеовстречи на большом экране, заниматься фитнесом. Устройство объединяет в себе возможности смарт-экрана и умной колонки. Взаимодействовать с ним можно с помощью голоса, жестов и пульта. Чтобы использовать девайс, нужно только подключить его к телевизору или монитору – любому устройству отображения с HDMI. (Многие функции при этом доступны и без использования экрана.) И, конечно, нужен интернет.
Все эти возможности нужно было уместить в довольно компактный корпус, обеспечив нужную производительность, и при этом не допустить перегрева.
Давайте разберём наш гаджет и посмотрим, как устроена его аппаратная часть.
Как улучшить распознавание русской речи до 3% WER с помощью открытых данных
Меня зовут Николай, когда в 2009 году я защищал диссертацию по распознаванию речи, скептики мне говорили, что слишком поздно, так как Microsoft и Google уже “всё сделали”. Сейчас в SberDevices я обучаю модели распознавания речи, которые используются в семействе виртуальных ассистентов Салют и других банковских сервисах. Я расскажу, как обучил модель распознавания речи, используя Common Voice и недавно открытый датасет Golos. Ошибка распознавания составила от 3 до 11 % в зависимости от типа тестовой выборки, что очень неплохо для открытой модели.
Не так давно наша команда подготовила и опубликовала общедоступный датасет Golos. Почему встал вопрос об обучении и публикации акустической модели QuartzNet? Во-первых, чтобы узнать, какую точность достигает система распознавания речи при обучении на новом датасете. Во-вторых, обучение само по себе ресурсоёмкое, поэтому сообществу полезно иметь в открытом доступе предобученную модель на русском языке. Полная версия статьи опубликована на сайте arxiv.org и будет представлена на конференции INTERSPEECH2021.
ruT5, ruRoBERTa, ruBERT: как мы обучили серию моделей для русского языка
В зоопарке русскоязычных моделей прибавление: в открытом доступе появилась модель text2text-генерации ruT5 и модели-энкодеры ruRoBERTa и ruBERT, формирующие семантическое пространство текста. Модели можно использовать для создания классификаторов текстов, кластеризации, извлечения информации, суммаризации и многих других NLP-задач.
Ещё в начале пути создания виртуальных ассистентов Салют мы, команда NLP R&D SberDevices, поняли, что нужно обучать базовые языковые модели для русского языка, ориентируясь на успешные модели для английского. Опыта в этом, надо сказать, у нас было немного. Прошло два года, и сейчас мы обучили множество моделей, которыми хотим поделиться с вами.
С нашими «гптшками» вы уже знакомы, и про них мы уже рассказывали. Сейчас мы решили расширить наш открытый зоопарк и остальными моделями. Их все легко дообучать и использовать в проме на одной GPU, в том числе в Colab. Мы надеемся, что эти модели будут полезны русскому NLP-сообществу и помогут родиться многим интересным решениям.
В этой статье мы поделимся общими характеристиками и результатами замеров моделей на разных задачах.
Все модели размещены в формате PyTorch-Transformers. Вы можете скачать их в HF transformers.
Как ИИ учится литературному творчеству, или Любовные письма от тостера
Довольно долго считалось, что творчество — это удел людей, а животные и уж тем более машины творить не могут. Но так ли это? Ответ на этот вопрос зависит от определения творчества. Давайте разберёмся, при каком определении машины обретают возможность творить, и как у них обстоят дела с текстовыми произведениями — поэзией и прозой.
Под творчеством в самом простом случае понимают создание новых изображений, текстов, музыки и других объектов культуры. Но, согласитесь, это слишком широкое определение: согласно ему даже обыкновенный игральный кубик может что-то сотворить! Если сопоставить каждой из его граней ноту, можно получить мелодию. Она, правда, не будет соответствовать требованиям классической гармонии и вряд ли кому-то понравится, а та, которая понравится, будет просто исключением, как в «Теореме о бесконечных обезьянах».
ruCLIP — мультимодальная модель для русского языка
Известно, что глубокие нейронные сети (DNN) и модели компьютерного зрения, в частности, хорошо справляются с конкретными задачами, но зачастую не могут сделать обобщение при работе с новыми. Так, модель, которая хорошо работает с данными о продуктах питания, может показать себя не очень хорошо на спутниковых изображениях и т. д..
В начале этого года OpenAI опубликовала модель под названием CLIP (Contrastive Language–Image Pre-training). В статье авторы модели привели потрясающие результаты по точности zero-shot-классификации изображений, а также сопоставили тексты и картинки в рамках одной системы. Однако модель OpenAI работает только с английским языком. Можно ли быстро адаптировать её для работы с русским?
Команды R&D SberDevices и Sber AI увлеклись этим вопросом. В этой статье мы расскажем про первые результаты наших исследований CLIP для русского языка, опишем ключевые идеи предложенной модели и поделимся с вами кодом для её использования — решения задач zero-shot image classification.
Что же можно сделать с помощью ruCLIP?
Сценарии для виртуальных ассистентов Салют на NodeJS и фреймворке SaluteJS
Привет! В одной из прошлых статей мы рассказывали о создании клиентской части навыков для виртуальных ассистентов на веб-технологиях и обещали вернуться с обзором создания сценарной части на NodeJS. Торжественно сдерживаем своё обещание!
Недавно мы выложили в открытый доступ фреймворк SaluteJS. Он позволяет создавать сценарии для виртуальных ассистентов Салют, используя стандартные методы JavaScript. Поскольку взаимодействие с NLP-платформой реализовано по http, мы подумали, что было бы круто писать сценарии примерно так же, как мы пишем обычные веб-сервисы, используя NodeJS. Вы можете интегрировать SaluteJS с любыми фреймворками вроде next.js, express, hapi или koa. Интеграция выполняется посредством middleware, где вы можете выражать обработку команд ассистента и голосовых команд пользователя, которые приходят в виде обычного http-запроса. Ниже покажу на конкретном примере, как это работает.
Обучение универсальной модели NLU c BERT и Multitask Learning
В современной компьютерной лингвистике понимание смысла написанного или сказанного достигается с помощью моделей естественного языка (NLU). С постепенным ростом аудитории виртуальных ассистентов Салют встает вопрос об оптимизации наших сервисов, работающих с естественным языком. Для этого оказывается целесообразно использовать одну сильную модель NLU для решения сразу нескольких задач обработки текста. В этой статье мы расскажем, как можно использовать многозадачное обучение для улучшения векторных представлений и обучения более универсальной модели NLU на примере SBERT.
В высоконагруженных сервисах обработки текста решается целый ряд различных задач NLP:
Golos — самый большой русскоязычный речевой датасет, размеченный вручную, теперь в открытом доступе
Меня зовут Саша, в SberDevices я занимаюсь системой распознавания речи и тем, как данные могут сделать её лучше. В этой статье я расскажу о новом речевом датасете Golos, который состоит из аудиофайлов и соответствующих транскрипций. Общая длительность записей составляет примерно 1240 часов, частота дискретизации – 16кГц. На текущий момент это самый большой корпус аудиозаписей на русском языке, размеченный вручную. Мы выпустили корпус под лицензией, близкой к CC Attribution ShareAlike, что позволяет его использовать как для научных исследований, так и в коммерческих целях. Я расскажу о том, из чего состоит датасет, каким образом он был собран и каких результатов позволяет достичь.
1000 и 1 способ сесть на мель в Spring WebFlux при написании высоконагруженного сервиса
Источник изображения: Shutterstock.com/photowind
Добрый день, меня зовут Тараканов Анатолий, я senior java разработчик SberDevices. 2.5 года программирую на Java, до этого 6 лет писал на C# и 1 год на Scala. Хочу поделиться опытом создания сервиса-оркестратора Voice Processing Service. Он является точкой входа для пользователей семейства виртуальных ассистентов Салют. Через него также проходит часть трафика приложений SmartMarket, где любой разработчик может написать навык для наших виртуальных ассистентов Салют.
Одним словом, на сервис приходится немалая нагрузка. Давайте посмотрим, какие проблемы при его создании возникли и как мы их решали, а также сколько времени ушло на поиск причин. И всё это в контексте реактивного фреймворка Spring WebFlux.
Немного о сервисе
Начнем с обзора архитектуры нашего сервиса-оркестратора. Он управляет процессом обработки входящего трафика от пользователей, формированием и передачей ответа. Среди смежных систем, к которым он обращается, есть такие сервисы:
Как машины учатся эмоциональному поведению
Нередко при взаимодействии с техникой люди проявляют эмоции: мы можем злиться на сломавшийся банкомат или умиляться пронырливости робота-пылесоса. Да, мы общаемся с роботами, но не стоит оценивать это общение как одностороннее: в логику аватаров, которые компании используют для взаимодействия с пользователем, часто бывает встроен навык понимания эмоций, и даже их проявления. Обычно это нужно, чтобы сделать общение приятным для клиента. Как же это всё работает? 
Часто сюжеты фильмов и книг о роботах вращаются вокруг темы эмоций. «Добрые» роботы учатся у людей любви и самопожертвованию, а «злые» оказываются повержены из-за неспособности любить, жертвовать собой, предугадывать «иррациональные» поступки людей. Так, робот Вертер из фильма «Гостья из будущего» мучается из-за любви к Полине, а Электроник из одноименных «Приключений» в разные моменты фильма плачет, улыбается и смеётся, и в итоге именно это делает его человеком.
Смогут ли машины в самом деле испытывать эмоции? Ответить на этот вопрос будет трудно, покуда нам непонятна физиологическая составляющая эмоций. Если смотреть на эмоции широко, даже в поведении примитивных организмов наблюдаются явления, которые можно интерпретировать как эмоции. Например, у некоторых моллюсков в результате обучения формируются условные рефлексы, которые заставляют их избегать определённых стимулов. А что это, как не страх? Но оставим философствования философам, а современным учёным и разработчикам — практические исследования. По данным последних, с уверенностью можно сказать, что машины можно научить распознавать эмоции и их симулировать.
Всё, что нам нужно — это генерация
Применяем ruGPT-3 в популярных задачах и показываем, зачем языковым моделям триллион параметров
С наступлением 2021 в NLP продолжается гонка «больше — лучше», захватывая новые архитектуры. Пальма первенства самой большой языковой модели в 2020 году принадлежала GPT-3 от OpenAI с 175 миллиардами параметров — но недолго. Модель GShard с помощью Mixture-of-Experts повысила планку до 600 миллиардов параметров, а затем и Google Brain заявил о разработке архитектуры Switch Transformer с 1,6 триллионами параметров (и тоже является MoE). Насколько повышение результатов за счет объема полезно для индустрии? Тот же Switch Transformer с его триллионом параметров далеко не на 1 месте в лидербордах.
Огромные языковые модели (Enormous Language Models, теперь это термин, им посвящен отдельный воркшоп конференции ICLR 2021) показывают действительно интересные результаты — не только в традиционных задачах ML, но и в новых сферах применения: генерации всего того, что раньше генерировать без ошибок было нельзя — музыку, изображения попиксельно, программный код и т.д. Из всех традиционных форм NLP-задач — классификация, классификация элементов последовательности, seq2seq, — по сути, у нас остается только одна: seq2seq. С приходом больших языковых моделей все задачи NLP сводятся теперь к форме генерации, при должном качестве этой самой генерации.
Seq2seq — самая «человеческая» форма решения задач: человек использует тот же формат, отвечая на сообщения в чате, общаясь устно, сортируя имейлы в почте.