Что такое виртуальная музыка
«Объемная» музыка: как VR-технологии передают звук
3D- и VR-технологии охватывают все больше сфер. Самые популярные – это компьютерные игры и киноиндустрия. В одной из последних статей мы рассказывали о возможностях применения VR-технологий в киноиндустрии, а также говорили о 3D-звуке и его перспективах.
В этом материале вы узнаете об особенностях воспроизведения звука и музыки в VR, с какими проблемами сталкиваются аудиоспециалисты и как их можно решить.
«Реально то, что осознаешь»
Есть два способа передачи информации с помощью VR-технологий. В первом случае разработчики стремятся воссоздать картинку, максимально приближенную к реальности. Во втором – сгенерировать совершенно другой мир и атмосферу, создать иллюзию, в которой все происходящее логически связано.
Со вторым способом все просто: если обстановка, персонажи и их действия ненастоящие, значит, и законы этого мира отличаются от реальности. Гораздо сложнее воссоздать то, что само по себе реально. Трудность заключается в том, что в некоторых играх или видеосюжетах возникают странные моменты, которые «выдергивают» человеческое сознание из этой иллюзии.
Разработчикам игр и мультипликаторам знакома гипотеза, которая носит название эффекта «зловещей долины» (uncanny valley). Суть гипотезы в том, что персонаж, который выглядит или действует почти как человек, но все же немного от него отличается, вызывает у нас страх или неприязнь. Нечто похожее происходит и со звуком в VR.
В отличие от зрительного восприятия, определить, какой объект находится перед нами, на слух, гораздо сложнее. Узнать его приблизительные размеры и относительную дистанцию до него можно, только если объект издает звуки. Благодаря тому, что у нас есть богатый «слуховой» опыт восприятия мира, в виртуальной реальности мозг сравнивает новую информацию с тем, что происходит с нами в действительности.
Человеческий голос в данном случае – наиболее «знакомый» для нас фактор: поэтому его наличие в звуковом оформлении игры заметно облегчает наше «слуховое погружение» в виртуальную реальность. Но голос, как и человекоподобный персонаж, подвержен эффекту «зловещей долины». Например, слишком высокая компрессия звука вызовет «недоверие» у нашего сознания.
Видео ниже помогает понять, на что способен наш мозг. Всю информацию о перемещении объектов мозг получает только из звукового сигнала. Эту и следующие видеозаписи рекомендуется прослушивать в наушниках и с закрытыми глазами.
Звук в этом видео был создан с помощью метода бинауральной записи: она осуществляется через два микрофона, а итоговый фрагмент необходимо прослушивать в наушниках.
Помимо специального расположения микрофонов, в записи участвует либо манекен, имитирующий реальную голову, либо так называемый диск Джеклина (на фото ниже). Не путайте понятия «бинауральный» и «стерео». Обычная стереозапись не учитывает расстояние между ушами и отражение звука от головы и ушных раковин – факторы, влияющие на распространение звука.
В современных шлемах виртуальной реальности эти условия, к сожалению, не учитываются. Более того, такие компании, как Project Morpheus и HTC Vive, поставляют VR-шлемы без наушников, предлагая покупателям воспользоваться своей техникой. В комплекте Oculus Rift есть фирменные наушники, но и здесь предполагается замена на модель «более высокого качества».
У геймеров большой популярностью пользуются наушники с технологией Surround Sound 7.1. На сайте сообщества геймеров Kotaku проводилось голосование за лучшие игровые наушники. Самыми популярными моделями оказались беспроводные наушники Astro A50 и Logitech G930, поддерживающие эту технологию. Другими словами, само сообщество определило, что «высокое качество» подразумевает наличие эффекта объемного звучания.
Итак, бинауральное звучание отличается от стерео. Стерео (2.0), в свою очередь, отличается от объемного звука (7.1): Если для бинаурального и стереозвучания требуются специальные способы звукозаписи, то для того, чтобы добиться эффекта пространственного звучания, звук нужно проигрывать через большое количество источников звука. Именно за счет числа динамиков создается эффект погружения.
Однако для VR в первую очередь важно не погружение, а «реалистичность» звучания. Если бинауральную запись подвергнуть обработке через гарнитуры формата 7.1, то конечная запись вряд ли оправдает ожидания слушателя. Это значит, что стандартными методами эту проблему решить не удастся.
Главное – реалистичность
Чтобы добиться реалистичности звучания, нужно учитывать положение тела в пространстве, а также следить за взаимодействием с передаточной функцией головы (HRTF).
В VR у пользователя есть возможность перемещаться и совершать движения головой в любом направлении. Соответственно, если голова, а точнее уши, изменят свое положение, то входящий звуковой сигнал тоже должен измениться. Бинауральная запись может усилить эффект погружения в виртуальную реальность, подчеркнув глубину происходящих событий.
Помимо звуков, которые мы привыкли слышать – так называемых диегетических звуков, существуют также недиегетические звуки: мы не слышим их в повседневной жизни, но они могут быть частью компьютерной игры или фильма. Пример – фоновая музыка или речь повествователя.
В компьютерной игре нас не интересует, откуда исходит голос и музыка. Другое дело –виртуальная реальность. Чтобы вписать недиегетические звуки в виртуальный мир, необходимо использовать связующие объекты. К примеру, логично будет смотреться, если повествователь говорит по радио или в телефонную трубку.
Что касается музыки, то здесь возникают другие вопросы. Конечно, ее можно привязать к радиоприемнику, чтобы было понятно, откуда исходит звук. Но этого не достаточно: музыка, исходящая из него, будет звучать неравномерно.
Одно из возможных решений – применение динамической компрессии вместе с усилением нижних частот, вызывающие «эффект близости». На видео ниже Александр Джей Тернер (Alexander J Turner) подробно разбирает это явление. Оно тесно связано с устройством микрофона: чем ближе к нему говорящий, тем ярче на выходе нижние частоты и тем звук будет более насыщенным.
В играх зачастую используются композиции, записанные в студиях или других акустических пространствах. Эти пространства передают «живость» звучания благодаря тому, что звучание инструментов смешивается со звуковыми отражениями в помещении. Так, на концерте в консерватории не возникает ощущения, что музыка давит или вторгается в личное пространство. Наоборот, мы чувствуем, что она находится на расстоянии от нас.
Однако в VR не используются «слишком живые» записи: слушателю будет непонятно, откуда исходит звук. Альтернативным решением этой проблемы будет запись музыки в нейтральной среде с последующей обработкой, чтобы не нарушать органичность звучания. Также, возможно, стоит отказаться от стереозвучания и свести все к более центрированному звуку. Его можно немного сжать, а затем применить к нему настройки эквалайзера. Тогда музыка будет звучать так, будто она играет не «где-то там», а «у нас в голове».
Эффекта реалистичности можно также добиться за счет ненавязчивого акцента на окружающей ситуации. Например, в следующем видео чувствуется как визуальная, так и звуковая напряженность. Стоит отметить, что эффект от диегетических звуков в этой записи сильнее, чем от недиегетических, и больше акцента делается на обстановке, чем на звуке.
Еще один пример того же подхода. Всего несколько звуков создают нагнетающую и напряженную атмосферу.
Таким образом, звук, выверенный слишком чисто и аккуратно, может показаться искусственным. В то же время, даже если он «грязный», но создает реалистичную картину – с помощью дополнительных звуковых эффектов или динамичной окружающей среды – впечатление от прослушивания будет в разы сильнее.
Иными словами, не надо стремиться сделать звук идеальным. Нужно сделать его как можно реалистичнее, чтобы слушатель мог ощутить те эмоции, которые задумывал создатель того или иного произведения.
Мы постоянно разбираемся в новинках и просто изучаем интересные материалы о звуке. Совсем недавно мы начали готовить тематические дайджесты, пара примеров и других материалов по теме — по ссылкам ниже:
VR и музыка: 10 лучших применений VR технологий
И хотя технологии находятся на этапе становления, уже сейчас можно выделить неплохие примеры интеграции аудио в виртуальную реальность. В этой подборке мы собрали:
1. Intone – Sing
Уникальный в своем роде VR визуализатор. Вместо того, чтобы использовать существующие музыкальные библиотеки, в игре задействован голос пользователя.
Только представьте, вы погружаетесь в отрытый космос. Вас окружают разноцветные блоки. Необходимо направить взглядом прицел на объекты и попытаться расколоть их силой собственных легких. В зависимости от интенсивности звука, блоки будут перемещаться и окрашиваться в разные тона. Круто, правда?
На протяжении всего ролика пользователя сопровождает метеоритный дождь, а также северное сияние. В видео царит угнетающая сюрреалистичная атмосфера, создать которую было бы сложно без CGI-графики и съемки в формате 360.
3. HARMONIX MUSIC VR
Визуализатор для PS4. Пользователь загружает библиотеку любимой музыки и попадает в один из четырех уникальных миров. Алгоритмы проанализируют мелодии, а затем сконвертируют их в:
VR музыка никогда не была столь увлекательна.
4. Playthings: Musical VR Playground
Вспомните себя в 5 лет. У вас появился первый ксилофон, и вы действуете родителям на нервы дни напролет. Эх, было чертовски весело
Разработчики решили адаптировать детский опыт для взрослых. В реальности Playthings ксилофоны состоят из желейных мишек, неоновых хот-догов и фантастических бобов. Игроки используют контроллеры в качестве барабанных палочек. Они могут создавать абсолютно любые звуки и визуализировать их в формате VR.
5. This Summer by Roomie (Maroon 5 Cover)
Один из лучших клипов, снятых в 360, которые мы когда-либо видели. Секрет кроется в практической ценности видео. Roomie путешествует по Лондону, демонстрируя пользователю достопримечательности столицы Туманного Альбиона.
6. SquarePusher Music Video
360 видео подарит незабываемый экспириенс. Ролик перенесет вас в странный мир. Вы окажитесь в утопическом раю и постепенно переберетесь в мрачные кварталы VR гетто.
Благодаря обилию слоев, в видео можно проводить долгие часы. После неоднократного просмотра становится заметно, что глаза персонажей следят за вами. Музыка в VR ролике направлена на усиление впечатлений.
7. VR Amplify от Mbryonic
8. VRTIFY
VRTIFY позиционирует себя как главную музыкальную VR платформу. Создатели предлагают пользователям:
Сервис VRTIFY собрал в себе лучшие проявления VR музыки.
Невозможно забыть о самом популярном VR клипе последних лет. Его посмотрели более 10,5 млн раз. Люк Брайан приглашает всех желающих в бар – идеальное место, чтобы насладиться кантр
10. Harmonix Rockband VR
Harmonix Rockband VR – эксклюзивная разработка Oculus. Для игры используется гарнитура Rift и контроллер Oculus Touch.
Датчики снимают движения пользователя и превращают игрока в рок-звезду. Хотя VR среда несколько упрощена (ради экономии ресурсов), пространство вокруг кажется довольно реалистичным.
Заключение
Использование музыки в VR еще не достигло пиковой фазы. Сейчас технологию активно внедряют в игры, визуализаторы и клипы. Но, наверняка, это только начало. В будущем нас ожидает немало интересных разработок.
Биометрический плейлист, цифровые артисты и объективная инстанция вкуса. Как искусственный интеллект меняет современную музыку
Первую музыкальную композицию компьютер создал самостоятельно еще в 1950-х. Сегодня алгоритмы пишут саундтреки к играм и подстраивают музыку в наушниках под ваше настроение. Заменит ли искусственный интеллект настоящего композитора и возможно ли между ними сотрудничество? Автор телеграм-канала «Работник культуры» выяснил, что происходит с музыкальной индустрией с приходом нейросетей и даже сочинил в соавторстве с ИИ собственный трек.
Взломать божественный код: кто и зачем использует ИИ в музыке
Спустя год Grimes написала бесконечную цифровую колыбельную для приложения Endel. Вернее, она предоставила только музыкальную основу, а искусственный интеллект приложения теперь непрерывно изменяет ее, подстраиваясь под время суток, погоду, передвижения и пульс конкретного пользователя.
«Мне кажется, в этом есть что-то по-настоящему магическое, — сказала Grimes, рассуждая об ИИ в интервью для The New York Times. — В этом будто бы сокрыт смысл Вселенной. Звучит абсурдно, но вы понимаете, о чем я? Может, мы взламываем божественный код или что-то в этом роде?»
Тизер бесконечной колыбельной Grimes
С не меньшим трепетом смотрит на искусственный интеллект певица и музыкальный продюсер Arca. Используя его, она создала сто вариантов своей песни Riquiquí.
«Это принесло мне облегчение и воодушевило: не всё еще сделано, горизонт возможностей широк», — призналась певица. Для нее сотрудничество с искусственным интеллектом — опыт освобождения. Вместо того чтобы принимать множество микрорешений, теперь она может просто создать музыкальную экосистему, в которой — благодаря ИИ — творчество происходит само и всегда приводит к неожиданному результату.
Один из ремиксов песни Arca Riquiquí
Другие артисты не только используют ИИ в своих песнях, но и дают ему право на самостоятельное высказывание. Так, ирано-британский электронщик Аш Куша создал виртуальную певицу Yona. Она пишет музыку и тексты песен, а затем сама исполняет их.
Песня виртуальной певицы Yona
Как отмечает Time, большая часть ее стихов туманны и бессмысленны, но иногда она выдает строчки вроде: The one who loves you sings lonely songs with sad notes.
По мнению создателя Yona, на такую прямоту и «эмоциональную обнаженность» не способны даже большинство людей.
Но Yona — не единственный ИИ-музыкант. Осенью 2019 года она выпустила два альбома в соавторстве с другими цифровыми артистами. А еще музыку пишет виртуальная инфлюенсерка Lil Miquela, у которой три миллиона подписчиков в инстаграме.
Клип виртуальной певицы Lil Miquela
Читайте также
От компьютерной сюиты 1950-х до робота, пишущего под Баха: краткая история ИИ в музыке
«Сюита Иллиака»
В 1965 году на американское шоу I’ve Got a Secret, где звездное жюри угадывало секреты гостей, пришел семнадцатилетний Рэймонд Курцвейл, будущий изобретатель и футуролог. Он сыграл композицию на пианино — секрет был в том, что сочинил ее компьютер.
А в начале 1980-х увлекавшийся программированием композитор Дэвид Коуп начал работу над программой Experiments in Musical Intelligence (ЭМИ). ЭМИ должна была анализировать существующую музыку и создавать на ее основе новые произведения. На разработку ушло семь лет, но когда работа закончилась, ЭМИ за один день сочинила пять тысяч хоралов в стиле Баха.
В 1997 году Коуп представил слушателям три композиции. Одна была написана Бахом, другая — ЭМИ, третья — преподавателем музыкальной теории Стивом Ларсоном. Зрители должны были угадать, кому принадлежит каждое из этих произведений. Композицию, сочиненную Ларсоном, публика приняла за музыку искусственного интеллекта. Музыку ЭМИ — за Баха.
Фуга в стиле Баха, написанная ЭМИ
Сегодня ИИ пишет музыку к видеоиграм, сочиняет поп-песни в духе The Beatles и даже дописывает неоконченные пьесы умерших композиторов. Появляется всё больше стартапов, которые разрабатывают ИИ-сервисы для создания музыки (например, Amper Music, Popgun и AIVA). Но как работает музыкальный искусственный интеллект?
Обучающиеся нейросети и люди-редактора: как ИИ делает музыку
Большинство из этих систем используют глубинное машинное обучение, объясняет музыкант и журналистка Дени Дил в статье для The Verge. Проанализировав множество существующих композиций, система создает собственную музыку.
«По сути, ты скармливаешь программному обеспечению тонны оригинального материала, от танцевальных хитов до классики диско, а та старается найти в нем какие-либо закономерности, — пишет Дил. — Эти программы чувствительны к таким вещам, как аккорды, темп, длительность нот и их отношение друг к другу».
ИИ-сервис Jukebox переделал Smells Like Teen Spirit «Нирваны»
«Проблема данного подхода в том, что получающейся музыке не хватает структурированности, — рассказывает Валерио Велардо, эксперт в области музыкального ИИ и экс-глава компании Melodrive, которая до недавнего времени использовала ИИ для создания саундтреков к видеоиграм. — Музыка чрезвычайно сложна и многомерна, так что ты не можешь заставить компьютер написать ее, просто тренируя нейронную сеть на десяти тысячах или даже миллионе песен».
Поэтому для создания музыки машинное обучение нужно сочетать с музыкальной теорией, говорит Велардо. Например, если вы хотите создать алгоритм, который напишет произведение для целого оркестра, стоит подумать о его структуре, мелодии, инструментовке. Велардо добавляет:
«За все эти факторы не может отвечать один-единственный алгоритм».
Этого же метода придерживается и люксембургская компания AIVA, сочинившая саундтрек к видеоигре Pixelfield. За разные характеристики музыкального произведения — например, гармонию, темп и мелодию — в AIVA отвечают разные ИИ-системы. Вот что получается в результате:
Саундтрек ИИ к игре Pixelfield
«Мы спросили себя: „Какие структурные блоки нужны для создания цельной песни?“ — говорит глава AIVA Пьер Барро. — Начать можно, например, с мелодической линии. Затем, основываясь на ней, вы можете создать другую модель, которая сочинит инструментальный аккомпанемент для этой мелодии. Когда ты разбираешь целое на части, всё становится значительно проще».
Тем не менее логика, по которой ИИ создает музыку, все-таки отличается от человеческой. Ник Брайан-Киннс, специалист по машинному обучению в области музыки, поясняет:
«Проблема в том, что мы пытаемся научить ИИ создавать музыку, которая нравится нам, но не позволяем делать музыку, которая нравится ему».
Чтобы композиции, написанные искусственным интеллектом, звучали интересно для человека, ИИ все-таки нередко требуются живые редактора — по крайней мере, пока. «Можно скормить ИИ целый каталог с песнями Эми Уайнхаус, и на выходе получится много музыки. Но кто-то должен взять и отредактировать ее, — говорит Брайан-Киннс. — Кто-то должен решить, какие части ему нравятся, а над какими ИИ стоит поработать еще немного».
Талантливый соратник: как живые артисты смотрят на сотрудничество с ИИ
Гораздо проще работа искусственного интеллекта выглядит в глазах музыкантов, которые используют его для своих экспериментов. Очень простой интерфейс, например, у сервиса Amper Music. Чтобы ИИ сочинил для вас композицию, нужно просто создать новый проект, определить длительность трека, выбрать жанр, настроение и бит. Когда трек будет готов, вы можете вносить правки: например, поменять тональность или темп.
Вот, что получилось у меня.
Чтобы создавать музыку с помощью Amper, вам не нужно знать ни музыкальную теорию, ни основы композиции.
У американской певицы Тэрин Саузерн, по ее признанию, «нет традиционного музыкального бэкграунда». Но это не помешало ей выпустить в 2018 году целый альбом I AM AI, музыку для которого придумал искусственный интеллект.
«Обычно я находила красивый аккорд на пианино, — рассказывает Саузерн о том, как сочиняла до знакомства с ИИ, — и писала целую песню на основе этого аккорда, но не могла перейти к следующим нескольким аккордам, потому что не знала, как сыграть то, что слышала в голове».
Когда же она стала работать с Amper Music и другими ИИ-сервисами, процесс упростился. Теперь Саузерн сообщала ИИ, какой она видит будущую композицию, а он уже предлагал свои варианты. Саузерн могла отвергнуть тридцать версий, предложенных компьютером. Но когда он придумывал что-то, что действительно нравилось певице, она переносила получившиеся аудиодорожки в программу для создания аранжировок GarageBand, расставляла музыкальные фрагменты в нужном ей порядке и затем писала текст.
Песня Тэрин Саузерн, сочиненная в соавторстве с ИИ
Причем музыка ИИ была одним из источников вдохновения для текстов и вокальных партий, говорит Саузерн. Искусственный интеллект для нее — талантливый соратник: работа с ним очень напоминает певице взаимодействие с живым человеком.
Некоторые, впрочем, могут спросить: «А велик ли в итоге вклад самой артистки? Не жульничество ли это?» Саузерн уверена, что всё по-честному. Нет одного-единственного способа создавать музыку, считает певица, и через двадцать лет, предсказывает она, такое «программирование» песен будет общим местом.
ИИ как станок Гутенберга: какие еще есть музыкальные ИИ-сервисы и в чем они видят свою цель
«Мы открываем двери к самовыражению для миллиардов людей», — говорит глава Amper Music Дрю Сильверстайн. Для него музыкальный ИИ — сродни типографскому станку Гутенберга, благодаря которому мир однажды наводнился книгами и газетами. Только вот к книгопечатному оборудованию доступ имеется далеко не у всякого, а воспользоваться сервисами вроде Amper Music сегодня может кто угодно.
В демократизации песенного искусства видит свою цель и компания ALYSIA. Искусственный интеллект ALYSIA не только создает музыку, но и пишет тексты. «Люди, которые никогда прежде не сочиняли песен, могут попробовать себя в этом за считаные минуты», — поясняет создательница сервиса Майя Акерман, специалистка по информатике.
Но чтобы записанная композиция звучала одинаково хорошо и на дорогих колонках, и в дешевых наушниках, ей нужно пройти мастеринг. Зачастую это недешево. Сервис LANDR предложил музыкантам недорогую альтернативу: автоматический мастеринг с помощью ИИ.
А британский стартап Volchea создал программу, которая помогает транслировать музыку прямо из головы. Например, вы можете напеть в микрофон какую-то мелодию, а приложение превратит ее в звуки трубы.
Попробуйте набитбоксить ритмический рисунок — Volchea сделает из него партию для барабанов. Или просто настучите ритм карандашом по кружке.
Так звуки битбокса Volchea превращает в электронные
А если вам хочется сыграть с кем-то на пианино в четыре руки, на помощь придет искусственный интеллект Alice, созданный австралийским стартапом Popgun. Когда вы играете на пианино несколько нот, Alice, наученная на тысячах песен, сообразит, как подыграть вам. AI Duet — еще один похожий сервис. Чтобы понять, как это работает, просто попробуйте сами. Похожим путем пошел музыкант и программист Ден Тепфер: он научил акустическое пианино аккомпанировать ему.
Умное акустическое пианино подыгрывает музыканту Дену Тепферу
Ежедневно на стриминговых сервисах вроде Spotify появляются десятки тысяч новых песен. Редактора этих сервисов просто физически не успевают прослушать такое количество музыки. Но если треки не будут помечены тегами, указывающими, например, на их жанр, слушателям будет сложнее открывать для себя новую музыку. Сервисы типа Musiio способны прослушивать тысячи композиций и автоматически классифицировать их по жанру, настроению, темпу и другим характеристикам.
Сам Spotify использует ИИ, например, для создания персонализированных рекомендаций. А недавно стало известно, что компания хочет предлагать пользователям новую музыку на основе наблюдений за их эмоциями и окружающей обстановкой.
Для этого Spotify будет использовать голосовое распознавание. Сервису будет интересно, например, каков ваш возраст и пол, с какой интонацией и в каком ритме вы говорите, в одиночестве ли вы или на вечеринке и многие другие подробности вашей личной жизни.
Хотя описание новой функции звучит слегка антиутопично, в Spotify уверяют, что осознают ценность личной цифровой истории каждого из нас и обещают соблюдать моральные нормы.
Заменит ли ИИ живых музыкантов?
«Мы всегда смотрели на творчество как на последний бастион человечности», — говорит Сиаваш Махдави, глава одного из ИИ-стартапов AI Music. Сегодня музыканты выстраиваются в очередь, чтобы люди послушали их музыку. Последнее, чего они хотят, — это конкурировать с искусственным интеллектом, способным за секунду сочинить симфонию.
Многие музыканты со скепсисом относятся к ИИ, соглашается экс-глава Melodrive Валерио Велардо. Проблема в том, что они не очень хорошо понимают, чем занимаются компании вроде Melodrive. Но немало и тех, кто разбирается в теме и нуждается в искусственном интеллекте.
В Велардо ИИ придумывал музыку для видеоигр, которую композиторы потом дорабатывали, как им вздумается. Поскольку сочинители в этой области работают в условиях жестких дедлайнов, к сервисам вроде Melodrive они относятся с большой симпатией, уверяет Велардо, добавляя:
«Они понимают, что ИИ не отнимет у них работу, а просто станет еще одним инструментом».
Новые технологии нередко встречают с недоверием. «Возьмем для примера автотюн », — говорит Дрю Сильверстайн из Amper Music в одном из интервью. Когда он только появился, его применение вызывало споры, но сегодня это стандартный инструмент, который использует почти каждый артист. В другом интервью он замечает:
«Даже когда творчество ИИ и музыка, созданная людьми, станут неотличимы друг от друга, люди всегда будут ценить возможность посидеть в комнате с другим человеком и позаниматься искусством. Это часть нашей природы. И она навсегда останется с нами».
Искусственный интеллект еще долго не сможет делать музыку, которая трогала бы наши чувства, считает консультант в области музыкального бизнеса Марк Маллиган. «Когда ИИ научится имитировать человеческие эмоции, тогда последний рубеж будет преодолен. Но до этого еще очень и очень далеко», — говорит он.
Но даже такая имитация вряд ли сделает ИИ настоящим артистом. Алгоритмы глубинного обучения, натренированные на хоралах Баха, возможно, и могут делать музыку, которую даже эксперты порой принимают за истинного Баха, но это всего лишь мимикрия, рассуждает американский философ Шон Дорренс Келли. Подражать стилю мастеров и развивать его — это то, что артисты делают на ученическом этапе своей карьеры. Но вовсе не за это мы ценим композиторов вроде Баха или Арнольда Шенберга.
Шенберг стал великим музыкантом не потому, что он показал миру более быструю или совершенную версию произведений своего предшественника Оскара Штрауса. Он стал великим, потому что показал, что все двенадцать ступеней хроматического звукоряда могут быть равнозначны. Другими словами, он поменял само наше представление о том, какой может быть музыка, говорит Дорренс Келли.
Может быть интересно
Тем не менее ИИ вполне пригоден в качестве инструмента для творчества, считает философ. Подобно тому, как труба помогала джазовому музыканту Майлзу Дэвису создавать искусство, алгоритмы ИИ могут прийти на помощь современным художникам.
Сооснователь Amper Music Майкл Хоуб придерживается похожей точки зрения. Существующие сегодня алгоритмы он рассматривает не как искусственный интеллект, а скорее как дополнение, примочку к человеческому разуму. «Для меня речь о том, чтобы дать большему числу людей возможность проявить креативность, а тем, кто уже обладает какими-то творческими талантами, позволить по-настоящему продвинуться вперед», — говорит Хоуб.
Какое будущее ждет ИИ в музыке
Представьте, что вы едете в переполненном вагоне метро и злитесь, потому что опаздываете на работу. Крошечный биометрический гаджет над вашим ухом замечает вашу тревогу и включает песню вашего любимого артиста, но изменяет ее так, чтобы она звучала более мягко и спокойно. По обратной связи гаджет замечает меняет ваши биометрические показатели и продолжает менять композицию, чтобы ее эффект был еще более благотворным.
Таким недалекое будущее музыкального ИИ видит Анмол Саксена, глава стартапа Ashva WearTech, разрабатывающего «умную» одежду, например прибор, помогающий поддерживать осанку. «На мой взгляд, есть большая вероятность, что стриминговая индустрия попробует предлагать функции, которые будут считывать такие показатели организма, как пульс, уровень стресса, частоту дыхания, может быть, даже неврологические сигналы», — говорит Саксена.
На основе этой биометрической и психологической информации ИИ будет менять жанр, тональность, гармонию и другие характеристики песен в вашем плеере, чтобы вы чувствовали себя лучше. Это будет новая эра в персонализации музыки с помощью ИИ.
Читайте также
Экс-глава поглощенного тик-током стартапа Jukedeck Эд Ньютон-Рекс видит будущее ИИ похожим образом. На вопрос газеты The Guardian о том, смогут ли однажды программы, хорошо понимающие нашу психику, сочинять музыку, которая будет помогать нам засыпать, Ньютон-Рекс отвечает: «Безусловно. Это именно та область, в которой ИИ может быть полезен».
Кроме того, работа над ИИ может помочь нам понять, как мы сами сочиняем музыку, говорит Ньютон-Рекс: «Мы по-хорошему не знаем, как работает творчество. Но разрабатывая эти системы, мы начинаем задаваться вопросами о том, как аналогичные задачи решаются нашим мозгом».
Искусственный интеллект также может сильно разнообразить жанровый ландшафт музыки.
«Мне кажется, большого прорыва стоит ждать на пересечении различных музыкальных стилей», — говорит специалист по машинному обучению в области музыки Ник Брайан-Киннс. Ожидать, что живые музыканты будут смешивать большое количество разных стилей, не приходится. Но вот искусственный интеллект с легкостью может сочетать жанры в миллионах комбинаций, считает эксперт.
Впрочем, ИИ может порождать и проблемы. Как замечает Франсуа Паше, который проводит музыкальные эксперименты с искусственным интеллектом в Spotify, количество музыки, созданной ИИ, еще очень невелико по сравнению с интенсивностью исследований в этой области. Мы еще в самом начале.
Например, чем больше будет появляться музыки, сочиненной ИИ, тем больше будет и судебных тяжб. Существующие законы об авторском праве были написаны без учета искусственного интеллекта. Поэтому скоро нам придется разобраться, за кем признавать права на песню, сочиненную ИИ: за программистом, разработавшим нейросеть, за артистом, который использовал результаты ее работы в своем творчестве, за композиторами, на чьих работах ИИ тренировался, или за самим ИИ?
Может быть интересно
Другая проблема использования этой технологии в том, что нейросети становятся сегодня всё больше и потребляют огромное количество энергии, говорит Брайан-Киннс. Представьте, например, сколько электричества потребуется, чтобы ИИ проанализировал всю поп-музыку последних двадцати лет.
«В какой-то момент нам придется спросить себя, стоит ли эта новая музыка того воздействия на окружающую среду, которое окажет выработка нужного количества энергии», — предупреждает Брайан-Киннс.
Но если мы хотим развития музыкального искусственного интеллекта, нам придется найти удовлетворительные ответы на подобные вопросы. Ведь пока музыка ИИ далека от того, что мы привыкли добавлять в свои плейлисты. Алгоритмы еще недостаточно хороши, чтобы создать песню, услышав которую, мы бы сказали себе: «Буду, пожалуй, слушать это, а не Дрейка», объясняет Олег Ставицкий.
Тем не менее появление виртуального конкурента Дрейка, похоже, — только вопрос времени. Создатель Amper Music Дрю Сильверстайн заключает: «То, что музыка ИИ станет неотличима от человеческой, — неизбежно».