Джаред Фиклин: Нови начини да видите музика (с цвят! и огън!)

Моите страсти са музика, технология и правене на неща. И комбинацията от тези неща е тoва, което ме доведе до хобито на звукова визуализация, и, понякога ме кара да си играя с огъня.

Това е Рубенс тръба. Тя е една от многото, които съм направил през годините, и имам една тук тази вечер. Тя е около 8-фута дълга метална тръба, има над сто дупки отгоре, от тази страна е високоговорителя, както и тук има няколко лабораторни тръбички, свързани към този резервоар с пропан. Така че нека да я стартираме и да видим какво прави. Така че нека да пуснем 550 Херца честота и да видим какво става.

(Честота)

Благодаря ви. (Аплодисменти) Хубаво е да се аплодират законите на физиката, но по същество какво се случва тук --(Смях)-- е, че енергията от звука чрез молекулите на въздуха и газове влияят на горителните свойства на пропана, създавайки видима вълнова форма, и може да видим различните региони на компресия и разреждане, които наричаме честота, и височината ни показва амплитудата. Така че нека да променим честотата на звука, и да видим какво става с огъня.

(По-висока честота)

Така всеки път, когато улучим резонансната честота получаваме стояща вълна и тази възникваща синусова крива на огъня. Така че нека да го изключим. Ние сме на закрито. Благодаря ви. (Аплодисменти)

Аз също имам с мен пламтяща маса. Тя е много подобна на Рубенс тръбата, и се използва за онагледяване на физичните свойства на звука, като ейгенмоудс, така че нека да го стартираме и да видим какво прави.

Ooх. (Смях) Добре. Сега, докато налягането на масата се покачва, нека отбележа тук, че звукът не пътува в перфектни линии. Всъщност пътува във всички посоки, и Рубенс тръбата като че ли разсича тези вълни с линия, и пламтящата маса като че ли разсича тези вълни с равнина, и може да покаже по-финна сложност, което е защо обичам да го използвам, за да гледам Джеф Фарина да свири на китара.

(Музика)

Добре, това е деликатен танц. Ако гледате внимателно – (Аплодисменти) Ако гледате внимателно, може да сте видяли някои от ейгенмоудс, но също може да сте забелязали, че джаз музиката е по-добра с огън. Всъщност, много неща са по-добри с огън в моя свят, но огъня е просто фондация. Той показва много добре, че очите могат да чуват, и това ми е интересно защото технологията ни позволява да представим звук на очите по начини, които акцентират силата на очите за виждане на звук, например премахването на времето.

Така че, тук използвам алгоритъм с рендиране за да рисувате честотата на песента "Мирише като младежки дух" по такъв начин, че очите могат да го приемат като единствена визуална представа, както и техниката ще покаже също силните страни на визуалния кортекс за разпознаване на модели. Така че, ако ви покажа друга песен от този албум, и друга, очите ви лесно ще изберат използването на повторение от групата Нирвана, и в разпределението на честотата, цветовете, можете да видите чисто мръсния чист звук с който те са известни, и ето и целият албум като единна визуална представа, и мисля, че това впечатление е доста мощно.

Най-малкото, е достатъчно мощно, че ако ви покажа тези четири песни, и ви напомня, че това е "Мирише като младежки дух" можете вероятно правилно да предположите, без да слушате която и да е музика, че песента на която запален фен на Нирвана ще се наслади, е тази песен, "Ще съм наоколо" на Фу Файтърс, чийто вокалист е Дейв Грол, който бе барабаниста на Нирвана. Песните са малко сходни, но най-вече просто съм заинтересован от идеята, че някой ден може би ще купим една песен, защото ни харесва начина, по който изглежда.

Добре, сега някои по-добри данни. Това са данни от скейтинг парк, и това е Мейбъл Дейвис скейт парк в Остин, Тексас. (Скейтборд звуци) И звуците, които чувате идват от осем микрофона, прикачени към препятствия около парка, и това звучи като хаос, но всъщност всички трикове започват с много обособен удар, но успешните трикове завършват с поп, докато неуспешните трикове повече с драскане и падане, и триковете върху релсата ще звънят като гонг, и гласовете заемат много уникални честоти в скейтинг парка.

Така че, ако можехме да покажем тези звуци визуално, ще можем да завършим с нещо подобно. Това са всички 40 минути на записа, и веднага алгоритъма ни показва че много повече трикове се пропуснати отколкото са направени, и също така, че трика на релси е много по-вероятно да предизвика овации, и ако погледнете наистина отблизо, можем да извлечем моделите на трафика. Можете да видите скейтърите често правят трикове в тази посока. Пречките са по-лесни.

И в средата на записа, микрофони хващат това, но по-късно в записа, това хлапе се появява, и започва да използва линия в горната част на парка за да направи някои много напреднали трикове на нещо наречено високата релса. И това е очарователно. В този момент във времето, всички останали скейтъри обръщат линиите си на 90 градуса да стоят далеч от пътя му. Вижте, има лек етикет в скейтинг парка, и е воден от тези с ключово влияние, и това са обикновено хлапета, които могат да направят най-добрите трикове, или да носят червени панталони, и на този ден микрофоните хванаха това..

Добре, от скейт физика до теоретична физика. Аз съм голям фен на Стивън Хокинг, и исках да използвам всички осем часа на серията му от лекции в Кеймбридж за да го почета. Сега, в тази поредица той говори с помощта на компютър, което всъщност идентифицира краищата на изреченията доста лесно. Така че написах водещ алгоритъм. Той слуша лекцията, и след това използва амплитудата на всяка дума, за да премести дадена точка на абсцисата, и използва интонацията на изреченията за да премести нагоре и надолу същата точка на оста y.

И тези линии на тенденция, можете да видите, има повече въпроси от отговори в законите на физиката, и когато достигнем края на изречение, поставяме звезда на това място. Така че има много изречения и има много звезди, и след обработване на цялото аудио, това е, което получаваме. Това е вселената на Стивън Хокинг.

(Аплодисменти)

Това са всички осем часа на серията лекции от Кеймбридж взети като единна визуална представа, и наистина харесвам това изображение, но много хора мислят, че е фалшиво. Така че направих по-интерактивна версия, и начина, по който го направих е, че използвах положението във времето в лекцията да поставя тези звезди в три-измерно пространство, и със специализиран софтуер и Кинект, мога да вляза директно в лекцията. Ще махна с ръка през Кинект тук и поемам управлението, и сега ще се пресегна и ще докосна звезда, и когато го направя, то ще изсвири изречението което генерира тази звезда.

Стивън Хокинг: Има едно, и само едно, подреждане в което парчетата правят пълна картина.

Джаред Фиклин: Благодаря ви. (Аплодисменти) Има 1400 звезди. Това е наистина забавен начин да се изследва лекцията, и, се надявам, достоен почит.

Добре. Нека да приключа с текущата работа. Мисля, след 30 години, съществува възможност да се създаде подобрена версия на затворените надписи. Сега, всички сме гледали много TEDTalks онлайн, така че нека да гледаме един сега с изключен звук и с включени надписи.

Няма никакви надписи за тематичната песен на ТЕД, и липсва, но ако сте гледали достатъчно от тези, ще я чуете в ума си, и след това започват аплодисментите. Обикновено започва тук и нараства и след това пада. Понякога получавате малка звезда аплодисменти, и след това мисля, че дори Бил Гейтс поема нервно дъх, и започва да говори.

Добре, нека да гледаме този клип отново. Този път, няма да говоря изобщо. Все още ще бъде без аудио, но какво ще направя е, че ще обработя звука визуално в реално време в дъното на екрана. Така че гледайте внимателно и вижте какво могат да чуят очите ви.

Това е доста невероятно за мен. Дори на първи поглед очите ви успешно ще схванат моделите, но при повторни виждания, Вашият мозък действително става все по-добър в превръщането на тези модели в информация. Можете да усетите тона и тембъра и ритъма на речта, неща, които не можете да получите от субтитри. Тази известна сцена в филми на ужасите където някой се появява отзад е нещо, което можете да видите, и вярвам, че тази информация ще бъде нещо което е полезно в периоди, когато е изключено аудиото или не се чува изобщо, и аз смятам, че глухата аудитория всъщност дори може да бъде по-добра при виждане на звук от чуващата публика. Не знам. Това е теория в момента. Всъщност това е просто една идея.

И нека завърша казвайки, че звука се движи във всички посоки, както и идеите. Благодаря ви. (Аплодисменти)