Джаред Фиклин: Новый способ видеть музыку (Цветом! И огнём!)

Мои увлечения — музыка, технологии и конструирование. И сочетание именно этих вещей привело меня к увлечению визуализацией звука, а иногда и к игре с огнём.

Это трубка Рубена. Одна из многих, которые я создал за последние годы. Одну трубку я сегодня принёс с собой. Это металлическая труба примерно 2,5 метра длиной. В ней сверху сделано примерно 100 дырок, с этой стороны колонка, а тут — несколько лабораторных трубок, которые соединены с баллоном пропана. Итак, давайте её подожжём и посмотрим, что она делает. Давайте включим частоту в 550 Герц и посмотрим, что произойдёт.

(Шумовые колебания)

Спасибо. (Аплодисменты) Здорово аплодировать законам физики, но по сути, что тут происходит — (Смех) энергия звука через молекулы воздуха и газа влияет на свойства горения пропана, создавая видимую волну, и мы видим переменные промежутки уплотнения и разрежение, которые мы называем частотой, а высота показывает нам амплитуду. Давайте сменим частоту звука и посмотрим, что происходит с огнём.

(Более высокая частота)

Натыкаясь на резонирующую частоту, мы получаем устойчивую волну и новую синусоиду огня. Давайте это выключим. Мы в помещении. Спасибо. (Аплодисменты)

Ещё у меня с собой есть стол огня. Он очень похож на трубку Рубена, и его тоже используют для визуализации физических свойств звука, например колебаний. Давайте его подожжём и посмотрим, что будет.

Ох. (Смех) Хорошо. Пока стол доходит до верного давления, позвольте мне заметить, что звук не передвигается прямыми линиями. Он путешествует во все направления, и трубка Рубена как бы рассекает эти волны полосой, а стол огня рассекает их на плоскости. Он может показывать более сложные нюансы колебаний. Мне нравится использовать его, наблюдая, как Джэфф Фарина играет на гитаре.

(Музыка)

Ну вот — деликатный танец. Если вы присмотритесь — (Аплодисменты) если вы присматривались, вы, возможно, заметили некоторые колебания, но вдобавок, вы, может быть, ещё заметили, что джаз смотрится лучше с огнём. Вообще, много вещей лучше выглядят с огнём, но огонь — это только база. Он отлично показывает то, что слышат глаза, и это меня интересует, потому что технологии позволяют нам воспринимать звук глазами, улучшая силу зрения, чтобы видеть звук как изменение времени.

Здесь я использую специальный алгоритм, чтобы нарисовать частоты песни «Повеяло духом подростка» так, чтобы можно было вобрать её глазами как единое визуальное впечатление, и техника к тому же покажет силу зрительного восприятия касательно распознавания узоров. Если я покажу вам ещё одну песню из этого альбома, и ещё одну, ваши глаза с лёгкостью определят повторения, использованные Нирваной. В распределении частоты и цветов вы увидите чистый-мутный-чистый звук, благодаря которому они прославились. А вот весь альбом в виде единого изображения; это производит довольно сильное впечатление.

По крайней мере, оно настолько сильное, что если я покажу вам четыре песни и напомню, что вот эта — «Повеяло духом подростка», вы, скорее всего, сможете правильно угадать, не прослушивая никакой музыки вовсе, что песня, которая понравилась бы фанату Нирваны — эта песня «Я останусь» в исполнении Фу Файтеров, главный певец который Дэйв Грол, бывший барабанщик Нирваны. Песни немного похожи, но в основном мне интересна идея, что когда-нибудь, возможно, мы будем покупать песню, потому что нам нравится, как она выглядит.

Ну, ладно, вот ещё немного звуковых данных. Это данные из скейт-парка. Это парк Марбэл Дэвис в Остин, штат Техас. (Звуки скейтбордов) Эти звуки были записаны восемью микрофонами, прикреплёнными к препятствиям по всему парку, и звучит это, как беспорядок; но на деле все трюки начинаются с характерного шлепка, удачные трюки заканчиваются хлопком, а неудачные трюки — скрежетом и падением. Трюки на перилах звенят, как гонг, и голоса занимают уникальную частоту в парке.

Итак, если мы разложим эти звуки визуально, у нас получится, что-то вроде этого. Это все 40 минут записи. Алгоритм нам сразу показывает намного больше трюков-промахов, чем удавшихся. Трюк на перилах, вероятнее всего, вызывает возглас восторга, и если присмотреться, мы можем выделить узоры движения. Скейтеры чаще прыгают в этом направлении. Там препятствия легче.

А в середине записи микрофоны записали вот это, но потом в записи появляется вот этот парень, он начинает использовать перила в верхней части парка, делая очень продвинутые трюки на чём-то, что называют высокие перила. Это впечатляет. В данный момент времени остальные скейтеры поворачивают на 90 градусов, чтобы ему не мешать. Видите, в скейт-парке существует тонкий этикет, он определяется самыми продвинутыми, то есть теми, кто делает самые сложные трюки, ну, или одевают красные штаны. В тот день микрофоны всё это записали.

Итак, от физики скейтов до теоретической физики. Я большой фанат Стивена Хокинга, и я хотел использовать все 8 часов его лекций из Кембриджской серии, чтобы показать своё уважение. В этой серии он говорит с помощью компьютера, что позволяет без проблем опознать концы предложений. Я написал ведущий алгоритм. Он слушает лекцию, а затем использует амплитуду каждого слова, чтобы двигать точку на оси X, и интонацию предложений, чтобы двигать точку по оси Y.

По этим тенденциям видно, что в законах физики больше вопросов, чем ответов, а когда мы доходим до конца предложения, ставим туда звезду. Итак, множество предложений — большое количество звёзд, и после обработки всей звукозаписи, мы получаем вот это. Это вселенная Стивена Хокинга.

(Аплодисменты)

Это все 8 часов серии Кембриджских лекций, представленных как единое визуальное впечатление, и мне очень нравится эта картинка, но многие считают, что она подделана. Так что я сделал более интерактивную версию, используя положения звёзд во время лекции, размещая их в пространстве. С помощью специального программного обеспечения и контроллера Кинект, я могу войти прямо в лекцию. Я помашу Кинекту, возьму контроль на себя, сейчас я дотянусь, и дотронусь до звезды. Когда я это сделаю, воспроизведётся предложение, которое создало эту звезду.

Стивен Хокинг: Существует одно и только одно положение, в котором все части создают целую картину.

Джаред Фиклин: Спасибо. (Аплодисменты) Тут 1 400 звёзд. Это очень интересный способ изучать лекцию, и я надеюсь — достойный знак уважения.

Ну, хорошо. Позвольте закончить, показав ещё одну работу. Думаю, спустя 30 лет будет возможность создавать расширенную версию субтитров. Мы все видели большое количество выступлений TEDTalks в сети, так давайте сейчас посмотрим одно с выключенным звуком и со включёнными субтитрами.

Для музыкальной темы TED субтитров нет, мы её пропускаем, но если вы посмотрели достаточно таких видео, вы слышите её у себя в голове. Потом начинаются аплодисменты. Обычно они начинаются тут, становятся громче, потом утихают. Иногда бывает, что звёздам аплодируют подольше, и, думаю, даже Билл Гейтс нервно вздыхает, затем начинается речь.

Итак, давайте посмотрим этот клип ещё раз. В этот раз я помолчу. Будет звук, но вот что я сделаю — я вынесу звук визуально в том же времени вниз экрана. Смотрите внимательно и замечайте, что слышат ваши глаза.

Это кажется мне достаточно удивительным. Даже в первый раз ваши глаза успешно выделят узоры, но в последующие разы ваш мозг уже лучше переводит эти узоры в информацию. Вы можете уже понять интонацию, тембр и скорость речи, то, чего вы не поймёте из простых субтитров. Знаменитая сцена из фильмов ужаса, где кто-то подкрадывается сзади — это то, что вы видите, и я думаю, что эта информация была бы чем-то полезным тогда, когда звук выключен или его нет вовсе, и я предполагаю, что глухой зритель, возможно, даже лучше бы воспринимал звук, нежели слышащий зритель. Не знаю. Это пока ещё теория. Вообще, это всё пока только идея.

Закончу, сказав, что звук передвигается по всем направлениям, так же движутся и идеи. Спасибо. (Аплодисменты)