Что такое визуализация музыки

Визуализация музыки в XXI веке: от Animusic до музыкальной шкатулки

Шведский музыкант-изобретатель создал инженерное произведение искусства, музыкальный автомат-оркестр, подобный сцене Pipe Dream из визуализации Animusic.

Компьютерные музыкальные визуализации видел каждый — летающие геометрические фигуры в музыкальных плеерах или танцующие трёхмерные девушки-вокалоиды. Подобные визуализации реагируют лишь на интенсивность звуковых частот и слабо раскрывают суть играющей музыки.

Визуализаторы из Анимьюзик (Animusic; по-русски: живая музыка) в начале 2000-х поступили иначе — они нарисовали для каждой из мелодии выразительные «механические пианино», трёхмерные сцены, где на схематичных инструментах играют механические пальцы, и связали движения сцены с воспроизведением MIDI-файла, содержащего мелодию для этих инструментов.

Для справки, MIDI-формат является альтернативой записи музыки как последовательности звуковых волн, которая получила распространение в конце XIX века с изобретением фонографа, затем патефона/граммофона, магнитофона и до сих пор наиболее употребима (современные компьютерные форматы WAW, MP3, OGG и т.п. — это продвинутые аналоги грампластинки). В отличие от них, MIDI — это, фактически, компьютерный файл с нотной записью мелодии для каждого из инструментов, аналог барабана в музыкальной шкатулке или перфоленты в механическом пианино. Понятно, что из нотной записи поведение сцены извлечь проще, нежели из записи нерасчленённых звуковых волн. Однако таким образом проблематично записать голос (хотя те же вышеупомянутые вокалоиды как раз представляют собой подобную попытку).

Самой запоминающейся сценой из анимации Анимьюзик была сцена «Несбыточная мечта» (Pipe Dream; тут игра слов: pipe ведь ещё и труба, из которых построена сцена). Это была единственная сцена которая вошла и в первую (2001 год), и во вторую (2005 год) компиляцию видеороликов Анимьюзик:

Шведский музыкант и изобретатель Мартин Мулин, лидер группы «Млечный путь» (Wintergatan) под впечатлением старинных музыкальных автоматов и явно под впечатлением визуализаций Анимьюзик создал музыкальный автомат-шарикоподъёмник (marble machine). Построенный за 14 месяцев (процесс постройки заснят на видео) автомат-оркестр состоит из виброфона, барабана, металлофона, бас-гитары, тарелки, содержит около 3 тысяч деревянных деталей и 2 тысячи металлических шариков. Получилась функциональная кинетическая скульптура, достойный ответ виртуальности:

Увлечение музыкальными шкатулками не спонтанное — несколько композиций созданной Мартином в 2013 году группы «Млечный путь» построены вокруг маленькой музыкальной шкатулки, управляемой перфолентой. Сама группа сочетает в своих композициях элементы народной и электронной музыки. Рекомендую послушать их концерт — лично мне очень понравилось.

Надо сказать, это не первая попытка воплотить «в железе» визуализацию Анимьюзик. В 2011 году 2 инженера-робототехника за 3 месяца сделали роботизированную реплику той же сцены «Несбыточная мечта» для выставки компании Intel (как реклама процессоров Intel Atom):

Однако создание Мартина Мулина выигрывает у роботизированного оркестра по ряду параметров. Не пытаясь дословно воспроизводить сцену и использовать пневматику, музыкальный автомат Мулина содержит настоящие музыкальные инструменты и честно собирает и перезаряжает шарики. А главное — это полностью механическая машина.

Источник

Визуализация музыки: от традиционных подходов к современным интерфейсам [Перевод]

Сохранить и прочитать потом —

Предисловие: предлагаю познакомиться с моей магистерской диссертацией о радиальной драм-машине. Особенно обратите внимание на раздел о визуализации ритма. Также просмотрите несколько более научный обзор литературы о визуализации и музыкальном образовании. А в этой статье я рассматриваю ценность видеоигр в музыкальном образовании.

Процесс электронного написания и сочинения музыки включает в себя работу не только слуховых, но и зрительных органов. Отображение данных в таких аудиоредакторах, как Pro Tools и Ableton Live носит чисто информационный характер – это волны, сетки и линейные графы. Некоторые системы визуализации исключительно декоративные, например, iTunes, который создает психоделическую наполовину случайную графику. Также существуют системы, которые представляют собой нечто среднее. Я вижу большой потенциал в таких графических системах, мне кажется, они могут помочь лучше понять принцип действия музыки и найти новые оригинальные композиционные приемы. В этой статье я предлагаю вашему вниманию подборку наиболее интересных систем визуализации музыки, с которыми я когда-либо сталкивался.

Западная нотная запись – традиционный многовековой способ визуализации музыки. Это очень стройная и сжатая система, четкая и символичная, к тому же, ее несложно освоить. Такие программы, как Sibelius, могут без труда переводить музыкальную нотацию в MIDI-данные и обратно.

Но западная нотная запись имеет ряд ограничений, особенно в отношении современной музыки. Ее неудобно применять в работе с микротонами. Она обладает ограниченной возможностью выражать исполнительские нюансы – за сто лет существования джаза для обозначения свинга не было придумано ничего лучше, чем просто написать слово «свинг» в верхней части партитуры. Система ключей хорошо работает для мажорных тональностей, но не так хорошо для минорных тональностей и при работе с музыкальными ладами, а если речь идет о блюзе, то применять ее совершенно бесполезно.

Хочу поделиться предположением, как нотная запись может усовершенствоваться в будущем. Это созданная Джоном Снайдалом (Jon Snydal) визуализация соло Джона Колтрейна (John Coltrane) в песне Майлза Дэвиса (Miles Davis) All Blues (я немного отредактировал, чтобы зрительно легче воспринималось).

Визуализация Снайдала больше аналоговая, чем цифровая – она отражает точные нюансы исполнения Колтрейна, с едва различимыми оттенками высоты тона, тайминга и динамики.

MIDI-секвенсоры предлагают осуществлять дальнейшие усовершенствования, выходя за пределы стандартной нотной записи. Обратите внимание на упрощенный электронный музыкальный секвенсор под названием iNudge. Попробуйте, это забавно.

Вот как выглядит мелодия Thelonius Monk «Four In One» в стандартном режиме нотного стана в MIDI-секвенсоре. Прямоугольники показывают не только то, какие ноты были проиграны и когда, но и их точную продолжительность. Красные прямоугольники потемнее означают, что громкость была выше, а розовые прямоугольники посветлее – тише. Также вы можете считать показатели громкости на панели внизу.

MIDI-система очень функциональна и удобна в использовании. Она может фиксировать ваши движения на клавиатуре, вы можете импортировать партитуры, у вас даже есть возможность рисовать ноты прямо на экране (мой любимый метод).

MIDI-плеер Music Animation Machine имеет ряд замечательных видео, совмещающих визуальное представление MIDI-дорожки с аудиозаписями классических произведений. Вот, к примеру, небезызвестная Токката и Фуга Ре-минор Баха.

Поскольку способность программного обеспечения извлекать данные из современных аудиозаписей постоянно совершенствуется, вы можете начать управлять ими с такой же легкостью, что и MIDI. Это скриншот программы коррекции тона Melodyne, которая очень похожа на Auto-tune.

Линии отображают уже пропетые ноты, а оранжевые капли показывают ноты, которые должен взять певец, по мнению программы. Толщина капли отображает уровень громкости. Вы можете перетаскивать капли и перерисовывать линии, как вам захочется, чтобы переделать песню в соответствии со своим настроением. Программа Melodyne может даже расшифровать и перезаписать проигрываемую мелодию в формате нотного стана и MIDI.

Высокие и низкие частоты

Принято, что более высокие частоты должны пространственно отображаться «выше», а более низкие – «ниже». Это кажется очень разумным, но на самом деле они могут отображаться совершенно произвольно и даже не соотноситься с физическим исполнением. На пианино высокие ноты находятся справа, а низкие слева. На гитаре «низкая» струна E физически находится над «верхней». Для духовых инструментов игра на нижних и верхних нотах также не соотносится с их физическими координатами.

Абсолютная высота тона отображается поступенно по восходящей, но высотный класс отображается по кругу. Самое правдоподобное изображение пространственной организации тона – это спираль.

Другие способы смоделировать соотношение тонов

Высокие и низкие – это не единственные образные определения, которые мы используем для обозначения быстрых и медленных вибраций. Как я уже сказал, высотный класс выражается окружностью.

Но на самом деле окружность лишь заменяет определения «вверх/вниз» на «по часовой стрелке/против часовой стрелки». Существуют другие способы изобразить тон. Мы интуитивно пытаемся изменить подход и представить их, как движения ближе и дальше или внутрь и наружу. Также мы задумываемся о том, чтобы сделать более высокие тона ярче, а низкие темнее. Некоторые из тех, кто играет на струнных музыкальных инструментах, иногда специально настраивают верхнюю струну чуть выше, чем нужно, чтобы создать эффект, известный как «блеск».

Общая договоренность – обозначать в нотной записи время слева направо. Но это не единственно возможное направление. Я имею в виду парадигму, которая предлагается в таких ритмических играх, как Dance Dance Revolution и Guitar Hero. Безупречная реализация этой концепции принадлежит игре под названием FreQuency.

Игра даже позволяет создавать свои собственные ремиксы.

Мне нравится такая «тоннельная» метафора, и мне хотелось бы увидеть ее распространение в развитой среде производства.

Колебания тона представляют собой синусоидальные (гармонические) вибрации, и вы можете визуализировать их таким образом:

Синусоидальные колебания не особенно полезны для нотной записи. Но они действительно помогут вам с научной точки зрения разобраться в том, что происходит, когда вы что-то слышите физически. Еще лучше наблюдать это в анимации:

Посмотрите на все анимированные мембраны барабанов в Wikipedia.

Волновые формы отображения звука

Аудиоредакторы отображают музыку, как амплитуду колебаний волн, используя капли, которые становятся шире, когда звук становится громче. Перед вами барабанная сбивка (Funky Drummer break), созданная с помощью редактора ReСycle. Голубые капли показывают удары барабана. Интенсивность капель не содержит обширных сведений о музыкальных параметрах, она показывает только продолжительность и громкость. Но ReСycle был создан для моделирования барабанных сэмплов, для которых время и громкость – единственная действительно важная информация.

Это график, который я нарисовал, чтобы показать, как вы воспринимаете эту композицию циклически.

В своей статье на Design Observer Роб Уолкер (Rob Walker) говорит о волновых колебаниях, как о музыкальном эталоне, который постепенно заменяет традиционные «восьмушки» [в системе традиционной нотной записи – прим. перев.] или другие форматы записи, которые уже отслужили свое. Плеер на сайте SoundCloud использует привлекательные волновые графики, которые помогают слушателю следить за местом прослушивания песни, наблюдая пики громкости. На SoundCloud даже существует группа, которая называется Pretty Waveforms.

Волновая форма колебания тона имеет тенденцию движения от чистой функциональности в сторону дизайна. Джошуа Дистлер (Joshua Distler) создал концепцию оформления обложки альбома Bjork, где каждая песня представлена в виде звуковой волны.

Теория музыки и сети

Я всегда считал, что было бы здорово использовать сети для визуализации теории музыки и даже предпринял несколько попыток это сделать. Здесь представлено сравнение круга полутонов и квинтового круга, которые друг для друга являются разверткой.

Это схема аккордовой последовательности в песне Giant Steps Джона Колтрейна.

Ниже изображена структурная схема, которая показывает, каким алгоритмом вы можете воспользоваться, чтобы разобраться, какой именно лад и тональность вы слышите.

Было бы гораздо круче иметь больше абстрактных трехмерных интерактивных визуализаций, которые показывали бы, как функционируют аккорды, тональности и мелодии. Леонард Эйлер продемонстрировал способ отображения тональной гармонии в качестве пространственной решетки в форме тора, как показано на этой анимации. Красные линии обозначают большие терции, зеленые обозначают малые терции, а голубые отображают квинты.

У меня есть честолюбивые замыслы в этой области, но мне не хватает навыков программирования, чтобы их реализовать. Хотя другие серьезно продвигаются в этом направлении. Дмитрий Тимошко (Dmitri Tymoczko) произвел фурор, опубликовав в Science свою первую связанную с музыкой статью о своих топологических методах визуализации тональной гармонии. Я не могу до конца разобраться в его идеях, но они кажутся мне интригующими.

Это иллюстрации Анируда Пателя (Aniruddh Patel) из его статьи «Язык, Музыка, Синтаксис и Мозг». И снова, я не совсем четко понимаю, что все это значит, но планирую попозже разобраться.

Другие теоретики предпринимали попытку использовать цвет для отображения гармонической функции. Скрябин, к примеру, для этого изобрел «световую клавиатуру», хотя она так и не стала пользоваться популярностью.

Визуализация музыкальных форм и структур

В работе над песней мне нравится использовать простое цветовое кодирование, чтобы различать ее отрезки. Я использую желтый для вступления и концовки, голубой для основной темы, зеленый для припева и оранжевый для инструментов и брейкдауна.

Эдвард Тафти (Edward Tufte) демонстрирует некоторые более изощренные методы визуализации структуры песни на своем форуме:

Проект Мартина Ваттенбурга (Martin Wattenburg) Shape of Song показывает повтор в пределах одной музыкальной композиции. Вот его визуализация песни Мадонны Like a Prayer.

А это визуализация Ваттенберга для композиции «К Элизе» Бетховена.

Далее приведу увлекательное видео Никласа Роя (Niklas Roy) в котором показывается, как вы можете создать модный аудиоряд на драм-машине, используя двоичный счет.

А разве эта графическая цветная система не является крутой нотной записью или интерфейсом?

На Visual Complexity представлено очень много идей наподобие этой.

Джон Кловер (John Clover) рассказал мне об этом посте, который сильно перекликается с моим: «Потрясающая визуализация музыки и обучение музыке».

У меня была возможность сыграть несколько песен Bjork из альбома/проекта Biophilia. Визуализация некоторых из их очень оригинальна и интерактивна, некоторые из песен визуализированы просто интересно, но традиционно, а визуализация некоторых непонятна, но заслуживает внимания за креативность. В любом случае это примечательный эксперимент который, я думаю, окажет влияние на принципы визуализации музыки.

Источник

Визуализация музыки в XXI веке: от Animusic до музыкальной шкатулки

Шведский музыкант-изобретатель создал инженерное произведение искусства, музыкальный автомат-оркестр, подобный сцене Pipe Dream из визуализации Animusic.

Компьютерные музыкальные визуализации видел каждый — летающие геометрические фигуры в музыкальных плеерах или танцующие трёхмерные девушки-вокалоиды. Подобные визуализации реагируют лишь на интенсивность звуковых частот и слабо раскрывают суть играющей музыки.

Визуализаторы из Анимьюзик (Animusic; по-русски: живая музыка) в начале 2000-х поступили иначе — они нарисовали для каждой из мелодии выразительные «механические пианино», трёхмерные сцены, где на схематичных инструментах играют механические пальцы, и связали движения сцены с воспроизведением MIDI-файла, содержащего мелодию для этих инструментов.

Для справки, MIDI-формат является альтернативой записи музыки как последовательности звуковых волн, которая получила распространение в конце XIX века с изобретением фонографа, затем патефона/граммофона, магнитофона и до сих пор наиболее употребима (современные компьютерные форматы WAW, MP3, OGG и т.п. — это продвинутые аналоги грампластинки). В отличие от них, MIDI — это, фактически, компьютерный файл с нотной записью мелодии для каждого из инструментов, аналог барабана в музыкальной шкатулке или перфоленты в механическом пианино. Понятно, что из нотной записи поведение сцены извлечь проще, нежели из записи нерасчленённых звуковых волн. Однако таким образом проблематично записать голос (хотя те же вышеупомянутые вокалоиды как раз представляют собой подобную попытку).

Самой запоминающейся сценой из анимации Анимьюзик была сцена «Несбыточная мечта» (Pipe Dream; тут игра слов: pipe ведь ещё и труба, из которых построена сцена). Это была единственная сцена которая вошла и в первую (2001 год), и во вторую (2005 год) компиляцию видеороликов Анимьюзик:

Шведский музыкант и изобретатель Мартин Мулин, лидер группы «Млечный путь» (Wintergatan) под впечатлением старинных музыкальных автоматов и явно под впечатлением визуализаций Анимьюзик создал музыкальный автомат-шарикоподъёмник (marble machine). Построенный за 14 месяцев (процесс постройки заснят на видео) автомат-оркестр состоит из виброфона, барабана, металлофона, бас-гитары, тарелки, содержит около 3 тысяч деревянных деталей и 2 тысячи металлических шариков. Получилась функциональная кинетическая скульптура, достойный ответ виртуальности:

Увлечение музыкальными шкатулками не спонтанное — несколько композиций созданной Мартином в 2013 году группы «Млечный путь» построены вокруг маленькой музыкальной шкатулки, управляемой перфолентой. Сама группа сочетает в своих композициях элементы народной и электронной музыки. Рекомендую послушать их концерт — лично мне очень понравилось.

Надо сказать, это не первая попытка воплотить «в железе» визуализацию Анимьюзик. В 2011 году 2 инженера-робототехника за 3 месяца сделали роботизированную реплику той же сцены «Несбыточная мечта» для выставки компании Intel (как реклама процессоров Intel Atom):

Однако создание Мартина Мулина выигрывает у роботизированного оркестра по ряду параметров. Не пытаясь дословно воспроизводить сцену и использовать пневматику, музыкальный автомат Мулина содержит настоящие музыкальные инструменты и честно собирает и перезаряжает шарики. А главное — это полностью механическая машина.

Источник

Что такое визуализация музыки

Из всех искусств именно музыка оперирует эмоциями напрямую, минуя их пластическое воплощение и логическое разъяснение. Смысл музыки – эмоция в чистом виде. Музыка объективизирует эмоции, родившиеся в душе композитора и исполнителя, передаёт их слушателям. Правила построения музыкальной формы представляют собой язык передачи эмоций, их универсальную кодировку.

Восприятие музыки, как правило, замкнуто в пределах самой музыки. Музыканты-профессионалы – против «перевода» музыки на язык других искусств. Искушённые слушатели воспринимают музыкальные образы в чистом виде, гонят прочь привходящие ассоциации. На высшем уровне постижения этого искусства, возможно, так и должно быть. Но как научить человека чувствовать несомый музыкой эмоциональный образ «изнутри» музыки, если человек не понимает «эмоциональных значений» слышимых звуков?

Традиционным способом проявить и усилить музыкальное впечатление служит сопровождение музыки неким информационным потоком со сходным эмоциональным значением.

В музыке «чистое» звучание, очищенное от всего привнесённого и сопряжённого – явление позднее и довольно искусственное. В исторической культуре и музыкальной среде, окружающей современного человека, преобладают синтетические жанры, где музыка сопровождается словами (вокал), пластикой (танец), драматическим действием (опера). В синтетических музыкальных жанрах музыка должна «подходить» к словам, движениям, зрительным образам: во-первых, по формальным параметрам, обеспечивающим синхронность восприятия информационных каналов; во-вторых, по эмоциональному содержанию.

Ассоциативный перенос эмоциональных значений музыки на другой информационный материал – несомненный факт культуры.

Рассмотрим способы визуализации музыки, практикуемые в современной художественной практике.

Второй способ организации параллельного видеоряда можно назвать элементарным. Он предполагает поиск изобразительных эквивалентов отдельным элементам, составляющим музыкальную форму (нотам, тембрам, темпам, ритмам, тональностям). Как концепция элементарный подход к установлению эмоциональных ассоциаций между музыкой и пластикой сформировался в начале 20 века. Художники и музыканты В. Кандинский, А. Шёнберг, А. Скрябин выявляли объективные эмоциональные значения цвета, формы, соотносили их с элементами музыки, создавали симфонические картины и картины-симфонии. Однако на этом пути возникли трудности выявления однозначных, объективных значений «языковых единиц» искусства. Довольно широк и субъективен спектр эмоциональных ассоциаций, связанных с тем или иным структурным элементом художественной формы. Он обусловлен массой социокультурных факторов.

Элементарный подход не учитывает очевидного для искусства факта: эмоцию вызывает не отдельный элемент художественной формы, не их механический набор, а некая художественная целостность, складываемая из элементов, но не сводимая к их сумме. Эмоциональная выразительность формальной структуры и есть критерий её целостности и признак художественности. Искусство – веками испытанное коммуникационное средство; публика воспринимает и переживает эмоции, заложенные в произведение авторами. Не обладая объективной «читаемостью» его смыслов, оно не могло бы выполнять этой функции.

Простейшая структура, обладающая общезначимой эмоциональной выразительностью, состоит как минимум из двух элементов: сочетание цветов (контраст, нюанс), звуковой интервал в последовательности или аккорде (диссонанс, консонанс). Практически же состав эмоционально-значимых структур в пластике и в музыке гораздо сложнее.

Третий способ визуализации музыки мы назвали структурным. Он устанавливает эмоциональную эквивалентность музыки и изображения на уровне структур, обладающих художественной целостностью. Это создание изобразительного целого, соответствующего строению музыкального произведения или его фрагмента. Видеоряд должен нести аналогичный эмоциональный заряд. Компьютерные технологии (монтаж видеоряда из статичных изображений, компьютерная анимация, озвученное видео) позволяют максимально сблизить, синхронизировать восприятие музыки и её изобразительного аналога.

Как в рамках структурного подхода решается проблема объективности эмоционального соответствия видеоряда музыке?

При этом не принципиально, конкретны или абстрактны визуальные образы, интегрированные с музыкой, поскольку структурная визуализация не иллюстративна, а эмоционально-ассоциативна.

Визуальный ряд, каким бы он ни был – последовательностью статичных изображений, анимацией или видеофильмом – должен восприниматься, как единый синтетический продукт; музыкальный и визуальный компоненты которого равновесны (картинка не отвлекает от музыки). Приветствуются минимально-достаточные, лаконичные изобразительные решения, предельно ясные по своей структуре.

В синтетическом музовизуальном продукте могут быть предусмотрены интерактивные действия (прослушивание целиком и по частям, возможность многократного воспроизведения, вариативный порядок работы с пособием, игровые действия), чтобы зритель-слушатель не был пассивным потребителем мультимедийного продукта.

Источник