Что такое нейрокомпьютерный интерфейс
Нейро-компьютерный интерфейс как глобальный двигатель прогресса
Нейро-компьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс, мозговой интерфейс, интерфейс «мозг — компьютер») – устройство или принцип работы, предназначенный для обеспечения односторонней или двухсторонней связи между мозгом и электронным устройством.
Другими словами, НКИ — это некоторый механизм, позволяющий управлять техникой с помощью » силы мысли». Исследования этой области начались в 1970-х годах в Калифорнийском университете в Лос-Анджелесе (UCLA). В середине 1990-х были разработаны устройства, которые позволили восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки.
Одной из главных причин, по которой НКИ станет катализатором научно-технического прогресса, является широкая область применимости данной технологии.
Одно из самых перспективных направлений развития НКИ является медицина. НКИ позволит создавать протезы с высокой отзывчивостью, манипулировать подобного рода протезами можно будет наравне с здоровыми органами. Вопросами создания и имплантирования различных искусственных устройств для восстановления нарушений функций нервной системы и сенсорных органов занимается область неврологии – нейропротезирование. Самым распространенным нейропротезом является кохлеарный имплантат, который используется для компенсирования потери слуха некоторым пациентам с выраженной или тяжёлой степенью нейросенсорной (сенсоневральной) тугоухости.
Однако медицинские НКИ могут найти применение не только в медицине. На основе технологий нейропротезирования в последствии возможно создание систем управления гуманоидными роботами. Так, например, в 2000-ом году, исследовательской группе Мигеля Николесиса удалось воспроизвести движение передних конечностей обезьяны. Система работала в реальном времени и использовалась для управления роботом по средствам интернет соединения. На практике подобного рода роботы могут быть использованы при высокоточных работах, в местах, где прибывание человека невозможно. Так же, как и в случае с нейропротезами, НКИ позволит обеспечить более высокую точность и отзывчивость, что в значительной степени повысит эффективность работы оператора.
Развитие НКИ в сторону распознания мыслительных образов должно дать мощный толчек в развитии областей, связанных с моделированием и проектированием. НКИ позволит в значительной степени ускорить и упростить процесс создания моделей и чертежей. Ощутимый прогресс в данном направлении имеет группа NeuroG; группа занимается созданием алгоритмов для распознания зрительных образов, а 25 апреля 2011 года состоялась первая публичная демонстрация работы устройства по распознанию мыслительных образов. К сожалению, на тот момент, устройство распознавало только 4 изображения.
Следующий способ практического применения НКИ трудно отнести к какой либо конкретной области. Речь идет о хранении и передачи знаний и опыта. Развитие НКИ в данном направлении позволит сократить длительность обучения, а также позволит создавать продвинутые базы знаний, которые будут включать в себя опыт и знания других специалистов в данной предметной области. Сама возможность использования НКИ для передачи опыта была подтверждена Мигелем Николелисом и Михаилом Лебедевым с коллегами из отдела нейробиологи университета Дьюка (США). Ими была опубликована научная работа с описанием первого в мире интерфейса для передачи сигналов из мозга в мозг через интернет. В процессе эксперимента первая крыса (кодер) в университете Дюка осуществляла сенсомоторные задачи, требующие выбора из двух вариантов с использованием тактильных или визуальных стимулов. В процессе выполнения кодером задачи образцы мозговой активности передавались в соответствующие области мозга второй крысы (декодера) с помощью интракортикальных стимуляций (ICMS). При этом крыса-декодер физически находилась в Бразилии.
Так как работа НКИ связана с непосредственным воздействием на нервную систему человека, наиболее вероятным способом организации двусторонней связи человека с компьютером будет имплантирование модуля способного перехватывать, принимать (при необходимости обрабатывать) и передавать сигналы нервной системы.
Согласно опросу, проведенному в интернете, 72% опрошенных считают, что НКИ окажут положительное влияние на развитие науки-техники и жизни целом, 10% ответили отрицательно, 18% затруднились дать ответ на вопрос, однако на вопрос о согласии на имплантирование модуля, позволяющего использовать НКИ, положительно ответили только 35%, 24% ответили отказом, 32% затруднились дать ответ, 9% предложили свои варианты. В результате беседы с респондентами были выявлены основные причины, по которым люди затруднились ответить или дали отрицательный ответ:
Нейрокомпьютерные интерфейсы для игр: что известно на сегодняшний день
Относительно недавно сооснователь Valve Гейб Ньюэлл (Gabe Newell) заявил, что человечество уже намного ближе к “Матрице”, чем может показаться. Мы с соавтором решили разобраться, так ли это, и зачем Valve, Facebook и Илон Маск пытаются подключить мозг к компьютеру.
Иллюзия контроля
Нейрокомпьютерный интерфейс (НКИ) или интерфейс «мозг-компьютер» (Brain-computer interface, BCI) – система, созданная для обмена информацией напрямую между мозгом и компьютером. Концепция была описана Джозефом Ликлайдером еще в 1960 году в статье со звучным названием «Симбиоз человека и компьютера» (Man-Computer Symbiosis). Сейчас публикация представляет скорее историческую ценность, а вот активные попытки вступить в такой симбиоз предпринимаются с конца 2000-х годов.
Пожалуй, тогда больше других проявила себя компания NeuroSky, вместе со Square Enix представившая на Tokyo Game Show 2008 игру-доказательство концепта Judecca. В 2009 году NeuroSky даже выпустила коммерческие НКИ-настольные игры, купить которые можно до сих пор, но считывают ли они мозговую активность или эксплуатируют феномен иллюзии контроля – вопрос открытый.
Продукты остальных компаний в основном так и не вышли за пределы конференций, а лидеры игровой индустрии или отмалчивались, или говорили, что не занимаются разработками НКИ.
Игры Mindflex и StarWars Force Trainer от NeuroSky пока остаются наиболее успешными BCI-устройствами, несмотря на противоречия.
В 2012 году лаборатория нейрокомпьютерных интерфейсов в Грацком университете Австрии представила НКИ для World of Warcraft. Система работала, но заменить мышь с клавиатурой явно не могла.
«Обучение» интерфейса и игрока: чтобы связать сигнал от мозга с определенной командой, пользователю требуется сначала подвигать рукой, а во время игры просто подумать об этом движении.
Постепенно стало понятно, что революции не произойдет. Об НКИ подзабыли, но ровно до тех пор, пока знаменитый основатель Valve Гейб Ньюэлл (Gabe Newell) не заявил в вышедшем 18 марта 2020 года интервью, что в компании вовсю ведутся нейробиологические исследования, добавив, что мы намного ближе к «Матрице», чем многие думают. Почти одновременно вышел отчет, согласно которому рынок НКИ к 2027 году будет оцениваться в 2,96 млрд долларов.
О чем не сказал Гейб
Год назад сотрудник Valve, экспериментальный психолог доктор Майк Эмбиндер (Dr. Mike Ambinder), рассказал на Game Developers Conference 2019 о развитии и применениях НКИ. По сравнению с интервью Гейба, его выступление почти никто не заметил, хотя он рассказал о планах компании намного больше.
Майк в ЭЭГ-хэдсете от OpenBCI – сообщества энтузиастов, разрабатывающих open-source решения для НКИ.
В Valve пока не идут по пути «Матрицы», подключаясь к мозгу напрямую, а используют специальный «шлем» для электроэнцефалографии (ЭЭГ). У этого подхода есть недостатки — а именно шумы и низкая пропускная способность (например, авторы НКИ для World of Warcraft оценили скорость передачи данных в
Нет предела совершенству: как нейроинтерфейсы помогают человечеству
Ещё более 100 лет назад учёные интересовались возможностями мозга и пытались понять, можно ли как-то воздействовать на него. В 1875 году английский доктор Ричард Катон сумел зарегистрировать слабое электрическое поле на поверхности мозга кроликов и обезьян. Затем было множество открытий и исследований, но лишь в 1950 профессор физиологии Йельского университета Хосе Мануэль Родригес Дельгадо изобрел устройство «Стимосивер», которое можно было вживлять в мозг и которое управлялось с помощью радиосигналов.
Тренировки велись на обезьянах и кошках. Так, стимуляция определённой области мозга через вживлённый электрод заставляла кошку поднимать заднюю лапу. По словам Дельгадо, животное не проявляло никаких признаков дискомфорта в ходе подобных экспериментов.
А спустя 13 лет учёный провёл знаменитый эксперимент — вживил стимосиверы в мозг быка и управлял им через портативный передатчик.
Так началась эра нейроинтерфейсов и технологий, способных повышать биологические возможности человека. Уже в 1972 году в продажу поступил кохлеарный имплант, который преобразовывал звук в электрический сигнал, передавал его мозгу и фактически позволил слышать людям с тяжёлыми нарушениями слуха. А в 1973 году впервые был официально использован термин «brain-computer interface» — компьютерный нейроинтерфейс. В 1998 году ученый Филипп Кеннеди имплантировал первый нейроинтерфейс в пациента — музыканта Джонни Рэя. После инсульта Джонни потерял способность двигаться. Но благодаря имплантации научился двигать курсором, лишь представляя движение рук.
Вслед за учёными идею создания нейроинтерфейса подхватили крупные бизнес-корпорации и стартапы. О намерении разработать систему, которая поможет управлять объектами силой мысли, уже заявили Facebook и Илон Маск. Одни возлагают на нейроинтерфейсы надежды — технологии позволят людям с ограниченными возможностями восстановить утраченные функции, улучшить реабилитацию человека, перенесшего инсульт или черепно-мозговую травму. Другие скептически настроены к подобным разработкам, полагая, что их использование чревато юридическими и этическими проблемами.
Как бы то ни было, на рынке есть достаточное количество крупных игроков. Если верить Википедии, некоторые разработки уже сняты с производства, зато остальные довольно популярны и доступны.
Что такое нейроинтерфейс и чем он может быть полезен?
Типы мозговых волн
Нейроинтерфейс — система для обмена информации между мозгом человека и электронным устройством. Это технология, которая позволяет человеку взаимодействовать с внешним миром на основе регистрации электрической активности мозга — электроэнцефалограммы (ЭЭГ). Желание человека совершить какое-то действие отображается в изменениях ЭЭГ, что в свою очередь расшифровывает компьютер.
Нейроинтерфейсы бывают однонаправленные и двунаправленные. Первые либо принимают сигналы от мозга, либо посылают их ему. Вторые могут посылать и принимать сигналы одновременно.
Существует несколько методов измерения сигналов мозга. Их разделяют на три типа.
Ещё один вариант использования нейроинтерфейса придумали американские учёные, разработавшие кибер-протез, способный улучшать человеческую память на 30%. Устройство формирует нервные импульсы, которые помогают пациенту формировать новые воспоминания, помнить лица родственников. Ожидается, что разработка поможет бороться со старческой деменцией, болезнью Альцгеймера и другими проблемами с памятью.
Помимо здоровья, нейроинтерфейсы можно использовать для личного развития человека, для работы и развлечений, а также для взаимодействия с окружающими. Итак, что интересного могут предложить нейротехнологии в этих областях?
Самосовершенствование
Самая, пожалуй, популярная область применения нейроинтерфейсов и всевозможных приложений — развитие каких-либо способностей человека. Этому посвящены разнообразные тренинги, системы развития ментальных способностей, системы изменения поведения, системы профилактики стрессов, СДВГ, системы по работе с психоэмоциональными состояниями и так далее. У такого рода деятельности даже свой термин есть, «Брейн-фитнес».
В чём суть идеи? В результате многочисленных исследований сформировались некоторые доказанные представления о том, как та или иная активность головного мозга соответствует состояниям человеческого сознания. Появились алгоритмы определения уровня внимательности, концентрации и медитации, ментальной релаксации. Добавьте к этому возможность считывать ЭЭГ и электромиографию (ЭМГ), и в результате мы получаем представление о состоянии человека на данный момент.
И когда нужно научиться вызывать конкретное психоэмоциональное состояние, человек тренирует себя с помощью устройства, к которому подключен нейроинтерфейс. Существует огромное количество программ визуализации ЭЭГ и психоэмоциональных состояний, мы не будем описывать их все. Тренировка вызова у человека необходимого состояния сознания выполняется с помощью технологии БОС ЭЭГ (биологическая обратная связь на основе электроэнцефалографии).
Как это выглядит на практике: родители хотят улучшить успеваемость своего ребенка и победить СДВГ (синдром дефицита внимания и гиперактивности). Для этого используют специальную программу (например, от NeuroPlus), выбирая в ней пресеты для тренировки нужных состояний: внимательности, концентрации, релаксакции, медитации, профилактики гиперконцентрации. Выбирают программу тренировки уровня концентрации. И запускают её.
Программа предлагает ребёнку тренировку, в которой нужно удерживать показатель волн Альфа и Бета выше определённого уровня. Волны не должны опускаться ниже определённого уровня. Одновременно с этим в окне программы проигрывается выбранный родителями видеоматериал. Например, любимый мультфильм. Ребёнок просто смотрит мультфильм, следит за уровнями Альфа и Бета волн и больше ничего не делает. Дальше в игру вступает БОС. Задача ребенка —поддерживать уровни Альфа и Бета всё время тренировки.
Если один из уровней падает ниже требуемого показателя, мультфильм прерывается. На первых занятиях ребёнок будет пытаться осмысленно вернуться к нужному состоянию, чтобы посмотреть мультик. Но через некоторое время мозг научится самостоятельно возвращаться к данному состоянию при выпадении из него (при условии, что мультик интересен ребёнку, а состояние для просмотра является «комфортным» для мозга). В результате у ребёнка вырабатывается умение вызывать у себя требуемое состояние концентрации, а также способность сохранять концентрацию на определённом уровне.
Выглядит страшновато, но не спешите пугаться и звонить в органы опеки. Есть и более простые решения на основе игр. Например, Mind The Ant от NeuroSky. Задача игрока — заставить муравья толкать предмет к себе в муравейник. Но чтобы муравей двигался без остановки, нужно поддерживать определенный уровень концентрации выше определенной отметки на соответствующей шкале.
Когда вы концентрируетесь на процессе, муравей толкает предмет. Как только уровень концентрации падает, муравей останавливается, и вы теряете время, ухудшая свой результат. С каждым уровнем игра становится сложнее, поскольку повышается требуемый уровень концентрации. Также появляются дополнительные отвлекающие факторы.
В результате регулярных тренировок пользователь вырабатывает способность поддерживать уровень концентрации и внимательности на выполняемой задаче, вне зависимости от отвлекающих внешних или внутренних факторов. Здесь всё как в спорте, невозможно получить спортивное тело, сходив пару раз в фитнес-центр или съев банку протеинов. Исследования в области БОС ЭЭГ показали, что результат от тренингов такого рода появляется только после 20 дней регулярных занятий длиной 20 минут каждое.
Развлечения
Нейрогарнитуры также дают возможность и развлекаться. Но все игры и развлекательные приложения параллельно являются и инструментами саморазвития. Играя в игры через нейроинтерфейс, вы используете осознанные состояния своего сознания для управления персонажами. И тем самым учитесь их контролировать.
Много шума в своё время наделала многопользовательская игра Throw Trucks With Your Mind. Управление персонажем происходит по стандартной схеме шутера от первого лица, однако сражаться с другими игроками можно только с помощью ментальных усилий. Для этого на мониторе игры отображаются параметры концентрации и медитации игрока.
Чтобы швырнуть в противника ящик, грузовик или любой другой предмет из игровой среды, вы должны поднять его в воздух при помощи своей ментальной силы, а затем бросить его в противника. Вам тоже может «прилететь», поэтому в стычке побеждает тот, кто эффективнее использует способность к концентрации и медитации. Сражаться силой разума с реальными противниками было весьма увлекательно. Из более свежих игр можно упомянуть Zombie Rush от MyndPlay.
Производители предлагают и более спокойные варианты игр. Вот, например, интересный обзор сразу нескольких популярных игровых приложений. Также стоит упомянуть игру MyndPlay Sports Archery Lite. Она простая: нужно сделать три выстрела из лука и набрать максимальное количество очков. За каждый выстрел вы можете получить до 10 очков. Используя видеоряд, игра погружает вас в свою среду, после чего вашему персонажу можно начинать целиться в мишень. В окне плеера появляется индикатор уровня концентрации. Чем выше концентрация, тем ближе к десятке попадёт стрела. Во втором выстреле для попадания требуется войти в состояние медитации. В третьем выстреле опять потребуется концентрация. Вот так наглядно игра демонстрирует интересные возможности нейроинтерфейсов.
Помимо игр, существуют и интерактивные нейрофильмы. Представьте: вы сели на диван, надели гарнитуру и включили интерактивный фильм про скейтеров. На каком-то этапе возникает момент, когда скейтер разогнался и вот-вот должен прыгнуть. В этот момент вы должны сами стать скейтером, чтобы сконцентрироваться на прыжке и держать уровень концентрации сознания, пока персонаж не закончит прыжок. При достаточной концентрации (соизмеримой с реальной жизнью и тем уровнем, который нужен будет в действительности) скейтер в фильме успешно совершит прыжок и сюжет пойдет далее до следующей интерактивной вилки. Если концентрация была так себе, то скейтер упадёт, а фильм пойдёт по другой сюжетной линии.
Простая и разветвлённая логика развития сюжета
Применение в работе
Помимо тренировочных и развлекательных программ разработчики создали большое количество приложений, предназначенных для профессионального использования. В качестве примера можно привести программу MindRec, которая создана для медицинских, спортивных, обычных психологов и психологов, работающих с представителями силовых структур.
Как она используется? Человек надевает на себя нейрогарнитуру, психолог запускает программу и приступает к сессии. Во время сессии выполняется мониторинг и запись в память компьютера следующей информации, а именно: уровень концентрации, внимательности, уровень медитации, сырой ЭЭГ сигал, в нескольких видах визуализации единовременно, в диапазоне от 0 до 70Гц. Сигналы, разбитые по частотным диапазонам, составляющим спектр основного сигнала. Разбивка производится на 8 диапазонов: Дельта, Тета, Низкая Альфа, Высокая Альфа, Низкая Бета, Высокая Бета, Низкая Гамма, Высокая Гамма. При необходимости выполняется аудио- и видеозапись действий пациента психолога.
Записанный материал можно пересмотреть, видя всё то, что отображалось в реальном времени во время сессии. Если психолог чего-то не заметил сразу, то при повторном изучении сессии или тренировки может изучить изменения волновых реакций головного мозга, сопоставить их с аудиовизуальной информацией. Это очень ценный инструмент для любого специалиста в данной области.
Другой вариант — нейромаркетинг. Нейрогарнитура позволяет проводить маркетинговые исследования, поскольку показывает эмоциональный отклик человека на определённые маркетинговые раздражители. Это намного эффективнее, поскольку при опросах и анкетировании люди далеко не всегда честны в ответах. А нейроисследование поможет увидеть реальный ответ, честный и беспристрастный. Собрав фокус-группу и проведя тестирование с помощью нейрогарнитуры, можно получить результаты, максимально соответствующие реальности.
Взаимодействие с внешними устройствами
Ещё одним интересным направлением работы с нейрогарнитурами является дистанционное управление внешними устройствами. Весьма популярны среди детей, к примеру, гоночные игры, которые допускают соревнование между двумя, тремя и четырьмя участниками. Вот хорошо известный пример таких игр:
Хочется побаловаться ещё с чем-то? Пожалуйста, вот другие разработки, которые тоже стали популярными.
Puzzlebox Orbit Helicopter
Игрушечный вертолет, который управляется силой мысли. Стандартная версия позволяет управлять высотой полета вертолета, но есть множество дополнений, которые превращают эту игрушку в мощный тренажёр для брейн-фитнеса. Обзор был на Хабре.
Лампа отражает ваше психоэмоциональное состояние в виде свечения определенного цвета. Идеально подходит для развития навыков медитации.
Презабавнейшая вещица. Создает голографическое изображение игровой среды и объектов внутри прозрачной пирамиды. А игрок, используя команды головного мозга, управляет этими объектами.
Ми-ми-мишные кошачьи ушки стали хитом во всём мире. Устройство полностью самодостаточно и не требует подключения к компьютеру или смартфону. Пользователь надевает ушки, включает их и получает возможность демонстрировать своё настроение (психоэмоциональное состояние) путём движения этими ушками. Кстати, аналогичный продукт, выполненный в виде хвоста, не стал популярным даже у себя на родине, в Японии. Куда в этом случае вставлялась гарнитура, можете додумать сами.
Нейрогарнитура — развлечение или полезный инструмент?
Во время чтения статьи может показаться, что нейроинтерфейсы и гарнитуры предназначены в основном для того, чтобы развлечь человека или потешить его ЧСВ. Однако это совершенно не так. Нейрогарнитура вкупе с соответствующим ПО вполне может помочь разработать конечность после сильного повреждения, снизить негативные последствия тяжёлых травм. Поэтому учёные активно используют нейротехнологии для того, чтобы помогать людям.
Например, в 2016 году американские учёные из Университета Джонса Хопкинса создали нейроинтерфейс, который помогает управлять отдельными пальцами биомеханического протеза. А спустя год их австрийские коллеги из Университета Граца разработали систему для написания музыки с помощью силы мысли. Рассчитана она на музыкально одаренных людей с ограниченными возможностями.
Специалисты из Калифорнийского университета с помощью нейроинтерфейса, нейромускульной стимуляции и подвеса научили ходить человека, парализованного ниже пояса. А бразильские исследователи вместе с коллегами из США, Швейцарии и Германии смогли частично восстановить спинной мозг у пациентов с помощью нейроинтерфейса, виртуальной реальности и экзоскелета. Ведутся и разработки для взаимодействия с пациентами с синдромом «запертого человека». Технология поможет выявлять таких больных, коммуницировать с ними, а также восстанавливать контроль над телом.
Facebook начала работу над неинвазивным нейроинтерфейсом, который поможет пользователям набирать текст без клавиатуры. Компания Nissan разработала интерфейс «мозг-машина», чтобы считывать мысли во время вождения для уменьшения времени реакции. А Илон Маск и вовсе хочет соединить мозг с компьютером, чтобы избежать захвата мира искусственным интеллектом.
Российские компании пока не могут похвастаться большим количеством достижений на ниве нейротехнологий. Однако недавно «Ростех» представил предсерийный образец устройства, которое поможет обмениваться информацией между мозгом и внешним устройством. Разрабатывал шлем Институт электронных управляющих машин (ИНЭУМ) им. И. С. Брука. Предполагается, что нейроинтерфейс позволит управлять электронными и электромеханическими устройствами: протезами, транспортными средствами.
Что ждёт рынок нейроинтерфейсов
Согласно прогнозу Grand View Research, объем глобального рынка компьютерных интерфейсов к 2022 году достигнет 1,72 млрд долларов. Сейчас основная область применения нейроинтерфейсов — это медицина, но активно развиваются развлекательные направления, а также военная и промышленная сфера. Нейрогарнитура для управления боевым роботом — это уже не просто сладкие фантазии высоколобых людей в погонах, а вполне решаемая задача.
Благодаря тому, что нейрогарнитуры предлагают открытую среду, которую можно использовать для создания собственного ПО, развивается и частное нейропрограммирование. Например, SDK одного из лидеров рынка, компании NeuroSky, доступна разработчикам абсолютно бесплатно. И в результате появляется всё больше приложений, использующих возможности этой платформы.
Отметим, что инициатива повсеместного внедрения нейроинтерфейсов и чипов для мозга сталкивается не только с поддержкой, но и с критикой. С одной стороны, нейроинтерфейсы могут усовершенствовать лечение черепно-мозговых травм, паралича, эпилепсии или шизофрении. С другой стороны, такие технологии могут усугубить социальное неравенство.
Высказываются опасения, что для внедрения в здорового человека электродов нет пока ни юридической, ни этической базы. Кроме этого, нейроинтерфейс может сделать мозг человека объектом, в который захотят проникнуть правительства, рекламодатели, хакеры, рептилоиды и другие личности, которым вряд ли обрадуется нормальный человек. И в целом нейроинтерфейс и гарнитуры могут изменить особенности человека, повлиять на его психику и деятельность как индивида, исказить понимание людей как физиологических существ.
В целом понятно, что нейротехнологии будут развиваться и дальше. Но когда они станут по-настоящему доступными и ещё более эффективными, предсказать невозможно.