Джаред Фіклін: Нові способи побачити музику (з кольорами! і вогнем!)

Я захоплююсь музикою, технологіями та створенням речей І поєнання цих захоплень привело мене до хоббі звукової візуалізації і, як наслідок, я граю з вогнем.

Це труба Рубенса, одна з багатьох, що я зробив за багато років і вона в мене сьогодні із собою це приблизно 2,5м залізної труби в якій зверху є орієнтовно сотня отворів, з цієї сторони колонка, а тут певна лабораторія труб, підключена до цього резервуару з пропаном. Що ж, запалімо її й побачимо, як це працює. Зіграймо частоту 550 герц і побачим, що відбудеться

(частота)

Дякую. (Оплески) Аплодувати законам фізики цілком нормально, але, по суті, тут відбулося наступне --(Сміх)-- енергія звуку через повітря та молекули гасу впливає на згорання на властивості пропану створюючи хвилю, яку можна побачити неозброєним оком і ми можемо бачити чергування ділянок стиснення та ще розрідження, яке називається частотою, і висота показує амплітуду. Що ж, давайте змінимо частоту звуку і подивимось, що станеться з вогнем

(Більш високі частоти)

Отже, щоразу коли ми включаємо резонансну частоту, з"являється стояча хвиля і нову синусоїду вогню Давайте це виключимо, ми таки в приміщенні Дякую. (Оплески)

Ще в мене з собою є стіл вогню Він дуже схожий на трубу Рубенса, і його також використовують для візуалізації фізичних властивостей звуку, наприклад, коливань. Давайте запалимо його і побачим, що станеться

Ох. (сміх) Гаразд. Поки стіл доходить до необхідного тиску позвольте зауважити, що звук не пересувається прямими лініями. Взагалі-то він мандрує на всі чотири сторони, і трубка Рубенса ніби розсікає їх полосою, а стіл вогню розсікає їх на поверхності та може відобразити тонші ньюанси коливань саме тому мені подобається користуватись ним, спостерігаючи гру Джеффа Фаріни на гітарі

(Музика)

Ну ось, такий чуйний танець Якщо Ви уважно спостерігали - (Оплески) Якщо Ви уважно спостерігали, Ви мабуть помітили деякі коливання, але Ви також Ви мабуть помітили що джазова музика краще дивиться з вогником. Взагалі, у мому світі багато речей набагато кращі з вогнем але вогонь - це лише база Він дуже наглядно показує, що очі чують і мене це цікавить, тому що технології позволяють нам сприйматти звук очима підкреслюючи могутність зору щоб бачити звук як зміну часу

Тут я використовую спеціальний алгоритм, щоб намалювати частоти пісні "Smells Like Teen Spirit" так, щоб можна було сприйняти її зором як єдине візуальне враження, а техніка до того ж покаже нам силу зорового сприйняття стосовно розпізнавання образів. Отже, якщо я покажу Вам іншу пісню з цього альбому а потім ще іншу, Ваш зір з легкістю визначить повторення, що використовує гурт Nirvana і в розприділенні частот і кольорів Ви побачите чистий-брудний-чистий звук яким вони прославились а ось весьальбом як єдине візуальне враження і я думаю, що це враження, є досить сильним.

Принаймні, достатньо сильним, що коли я покажу Вам ці 4 пісні і нагадаю Вам, що ось ця є "Smells Like Teen Spirit" Ви, скорше за все, правильно вгадаєте не прослуховуючи ніякої музики взагалі, що ця пісня сподобалась би фанату Нірвани "I'll Stick Around" від гурту Foo Fighters, де вокалістом є Дейв Грол, колишній барабанщик Нірвани Пісні трохи схожі, але в основному мені цікава ідея того, що можливо колись ми будемо купляти пісню, тому що нам подобається як вона виглядає

Гаразд, а тепер ще кілька звукових даних. Це дані зі скейт-парку це є Mabel Davis скейт-парк у місті Остін, штат Техас. (Звуки скейтбордів) Ці звуки були записані вісьмома мікрофонами, прикріпленими до бар"єрів по всьому парку і це звучить як безлад, але взагалі всі трюки почанаються з дуже характерного ляпаса, але успішні трюки закінчуються хлопком, у той час як невдалі - скреготінням і падінням. Трюки на перилах звенять, як гонг, і голоса займають унікаольну частоту в парку

Отже, якщо ми розкладемо ці звуки візуально в нас вийде щось типу цього Це всі 40 хвилин запису, і відразу ж алгоритм говорить нам набагато більше трюків провалили, ніж виконали а також трюки на перилах скорше ймовірніше провокують виклики захоплення, і якщо придивитись, можна спостерігати типові маршрути. Скейтери частіше стрибають у цьому напрямку. Там перешкоди простіші.

А по середині запису мікрофони записали ось таке але потім в записі з"являєтья цей хлопчина і починає їздити через перила у верхній частині парку щоб виконувати трюки підвищеної складності на тому, що називається високі перила І це вражає. В цю мить всі інші скейтери повертають на 90 градусів щоб не вовтузитись йому під ногами. Бачите, в скейт-парку існує тонкий етикет, який визначається найвправнішими, тобто тими, хто виконує найскланіші трюки ну, або вдягають червоні штани. В той день мікрофони все це записали.

Гаразд, від фізики скейтів до теоретичної фізики Я великий шанувальник Стівена Хокінга, і я хотів би використати всі вісім годин його лекцій Кембриджської серії, щоб виразити свою повагу. Тут він говорить за допомогою комп'ютера, який фактично робить виявлення кінців речень досить простим. Так що я написав ведучий механізм. Він слухає лекцію, а згодом використовує амплітуду кожного слова, щоб рухати точку на осі ікс та інтонацію речень, щоб переміщати точку по осі ігрик.

З цих тенденцій видно, що в законах фізики більше питань, ніж відповідей і коли ми доходимо до кінця реченя ставимо туди зірку. Отже, безліч речень - безліч зірок, і після обробки всього звукозапису, ми отримуємо ось це. Ось він, всесвіт Стівена Хокінга

(Оплески)

Це всі вісім годин Кембриджської серії лекцій представлені як єдине візуалне враження, і мені дуже подобається це зображення, але багато людей думають, що це підробка. Так що я зробив більш інтерактивну версію, використовуючи положення зірок під час лекції розміщуючи їх у просторі. З допомогою спеціального програмного забезпечення та контроллера Кінект Я можу зайти прямо в лекцію. Я помахаю Кінекту, і віщьму контроль на себе і коли торкатимусь до зірки, вона буде грати речення яке створила ця зірка.

Стівен Хокінг: Існує лише одне положення в якому всі частини утворюють повну картину.

Джаред Фіклін: Дякую. (Оплески) Тут є 1400 зірок. Це дійсно веселий спосіб вивчити лекції і, сподіваюся, достойний знак поваги.

Гаразд, позвольте закінчити показавши ще одну працю Я думаю, що через 30 років буде можливість створювати розширену версію субтитрів. Ми всі бачили велику кількість виступів на TEDTalks онлайн, так давайте зараз спробуємо подивитись один з виключеним звуком і включеними субтитрами

Для музичної заставки ТЕD субтитрів немає ми її пропускаємо, але якщо Ви переглянули достатню кількість відео, Ви почуєте її в голові, потім починаються оплески Зазвичай вони починаються тут, голоснішають, а потім стихають Інколи буває таке, що зіркам аплодують подовше, і тоді, думаю, навіть Біл Гейтс нервово видихає і починає говорити.

Гаразд, гляньмо цей ролик ще раз. На цей раз, я мовчатиму. Там все ще не буде звуку але ось, що я зроблю - я винесу звук візуально в режимі реального часу в нижній частині екрану. Дивіться уважно і спостерігайте, що чують Ваші очі.

Як на мене це неймовірно. Навіть з першого разу, Ваші очі успішно виділяють послідовності, але наступні рази Ваш мозок вже краще трансформує послідовності в інформацію. Ви вже можете зрозуміти інтонацію і швидкість мовлення, речі, яких Ви не отримуєте із субтитрів. Знаменита сцена з фільмів жахів, в якій хтось підкрадається ззаду - це те, що ви бачите і я вірю, що ця інформація була чимось корисною і без звуку. і я гадаю, що глухий глядач насправді міг би навіть краще вприймати звук, ніж звичайний глядач Я не знаю. Це на разі лише теорія. Взагалі-то, це всього лише ідея.

Закінчу, сказавши, що звук рухається у всіх напрямках, так само як ідеї Дякую. (Оплески)