Џаред Фиклин (Jared Ficklin): Нови начини да се види музика (преко боје и ватре!)

Моје страсти су музика, технологија и прављење ствари. Управо ме је комбинација ових области довела до хобија - визуализације звука - и понекад ме води да се играм ватром.

Ово је Рубенова цев. То је једна од многих таквих које сам направио током година и имам једну овде вечерас. То је метална цев дуга око 2,5m, која има стотинак отвора на врху, са оне стране је микрофон, а овде је систем лабораториjских цеви, повезан са овим резервоаром пропана. Хајде да је упалимо и да видимо шта ради. Хајде да пустимо звук фреквенције 550 Hz и гледамо шта се догађа.

(Фреквенција)

Хвала вам. (Аплауз) У реду је аплаудирати законима физике, али у основи онога што се овде догађа jе -- (Смех) -- да енергија звука преко молекула ваздуха и гаса утиче на особине сагоревања пропана, стварајући видљив таласаст облик и можемо да видимо ове наизменичне регионе згушњавања и разређења које зовемо фреквенција, а висина нам показује амлитуду. Хајде да променимо фреквенцију звука и гледајте шта се догађа са ватром.

(Виша фреквенција)

Дакле, сваки пут кад достигнемо резонантну фреквенцију, добијемо стојећи талас и јавља се ова ванредна синусоидна линија ватре. Хајде да ислључимо ово. Ипак смо у затвореном простору. Хвала вам. (Аплауз)

Имам код себе и пламени сто. Веома је сличан Рубеновој цеви и такође се користи за визуализацију физичких особина звука, као што су секундарне фреквенције, па хајде да је упалимо и видимо шта ради.

Оох. (Смех) ОК. Сада, док сто не достигне притисак, дозволите ми да напоменем да звук не путује дуж савршених линија. У ствари, путује у свим правцима, и док Рубенова цев пресеца ове таласе линијом, пламени сто као да пресеца ове таласе помоћу равни, па може да прикаже нешто суптилнију сложеност, због чега и волим да је користим, да бих гледао како Џеф Фарина свира гитару.

(Музика)

У реду, oво је нежан плес. Уколико пажљиво посматрате -- (Аплауз) можда сте видели неке секундарне фреквенције, а можда сте видели и то да је џез музика боља уз ватру. У ствари, много тога у мом свету је боље уз ватру, али ватра је само основа. Она веома добро показује оно што очи могу да чују, и ово ми је интересантно, јер нам технологија дозвољава да представимо звук очима на начин који наглашава снагу очију да виде звук, као смењивање времена.

Овде користим алгоритам за "превођење", да бих насликао фреквенције песме "Smells Like Teen Spirit", тако да их очи могу прихватити као један визуелни утисак, а поступак ће такође показати способности визуелног кортекса да препозна образац. Ако вам покажем joш једну песму са овог албума, па још једну, ваше очи ће лако препознати како група Нирвана користи понављање, а преко расподеле фреквенције, преко боја, можете видети “чист-прљав-чист” звук по ком су они познати, а ту је и цео албум, као један визуелни утисак, и мислим да је утисак прилично моћан.

Бар је довољно моћан да, уколико вам покажем ове четири песме, и подсетим вас да је ово "Smells Like Teen Spirit”, вероватно ћете погодити, без слушања музике, да је ово песма у којој би загрижени фан Нирване уживао, "I'll Stick Around", групе Фу Фајтерс, чији је водећи вокал Дејв Грол, бивши бубњар Нирване. Песме су помало сличне, али углавном ја сам само заинтересован за идеју, да ћемо можда једног дана куповати песму, јер нам се свиђа њен изглед.

Ево још мало података о звуку. Ово je податак из скејт парка, ово је скејт парк Мејбл Дејвис у Остину, у Тексасу. (Звуци скејтборда) Звуци које чујете су допирали из осам микрофона причвршћених за препреке у парку, и звучe хаотично, али, у ствари, сви трикови почињу са веома јасним пљеском, a успешни трикови се заврше праском, док неуспешни трикови звуче више као шкрипање и тумбање, а трикови на огради звоне као гонг и гласови заузимају веома јединствене фреквенције у скејт парку.

Дакле, ако желимо да ове звуке изразимо визуелно, можда ћемо добити нешто слично овоме. Ово је свих четрдесет минута записа и алгоритам нам одмах говори да је много више неуспешних него успешних трикова, као и да трик на оградама чешће изазива клицање и ако стварно пажљиво погледате, можемо да издвојимо звуке саобраћаја. Видите да скејтери често возе у овом правцу. Препреке су једноставније.

Усред снимања микрофони хватају ово, али касније се појављује овај дечко и почиње да користи трасу у горњем делу парка, да би извео неке веома напредне трикове на такозваној високoj огради. Ово је очаравајуће. У овом тренутку сви остали скејтери мењају правац кретања за 90 степени да би му се склонили са пута. Видите, постоји скривени бонтон у скејт парку, који намећу најутицајнији, а то су клинци који изводе најбоље трикове, или носе црвене панталоне, и овог дана микрофони су то покупили.

Добро. Од физике скејтбординга до теоријске физике. Ја сам велики обожаватељ Стивена Хокинга и хтео сам да искористим свих осам сати његове серије предавања на Кембриџу, да одам поштовање. У овој серији он говори уз помоћ компјутера који у ствари омогућава идентификацију крајева реченица релативно лако. Дакле, написао сам управљачки алгоритам који преслушава предавања, а затим користи амплитуду сваке речи да би померио тачку на x-оси и користи модулацију реченица да би померио исту тачку на горе или на доле по y-оси.

Овај смер линија, видите, показује да у законима физике има више питања него одговора, а кад стигнемо до краја реченице, поставимо звезду на том положају. Има много реченица, тако много звезда, и након што преведемо цео снимак, ево шта добијамо. Ово је васиона Стивена Хокинга.

(Аплауз)

Ово су свих осам сати серије предавања на Кембриџу узети као један визуелни утисак. Заиста волим ову слику, али многи људи мисле да је лажна. Због тога сам направио интерактивнију верзију тако што сам користио њихов положај у времену предавања да бих поставио звезде у 3D простор, а уз помоћ прилагођеног софтвера и Кинект-а, могу да уђем директно у предавање. Овде ћу махнути кроз Кинект и преузећу контролу, а сада ћу испружити руку и додирнути звезду, а кад то урадим, она ће извести реченицу која је створила ту звезду.

Стивен Хокинг: “Постоји један, и само један, распоред у ком делови стварају комплетну слику.”

Џаред Фиклин: Хвала вам. (Аплауз) Постоји 1 400 звезда. Ово је заиста забаван начин истраживања предавања и надам се одговарајући омаж.

У реду. Дозволите ми да закључим са радом који је у току. Мислим да после 30 година, постоји повољна прилика да се креира побољшана верзија адаптације за глуве. Сви смо видели доста TEDTalks онлајн, па хајде сад један да гледамо без звука и са укљученом адаптацијом за глуве.

Нема адаптације за основну музичку тему TED-а, она нам недостаје, али ако сте гледали довољно ових говора можете је чути у мислима, после чега почиње аплауз. Он обично почиње овде, расте и после опада. Понекад добијете мали додатни аплауз, мислим да тада чак и Бил Гејтс нервозно удахне и почиње говор.

У реду, хајде да одгледамо овај снимак поново. Овај пут нећу ништа говорити. И даље неће бити пратећег звука, али ја ћу да направим звук видљивим у реалном времену у дну екрана. Пажљиво гледајте и видите шта ваше очи могу да чују.

Мени је ово прилично запањујуће. Чак и при првом прегледу ваше очи ће успешно препознати обрасце, али при поновним прегледима ваш мозак, у ствари, постаје успешнији у претварању ових образаца у информацију. Можете да препознате тон и боју тона, као и ритам говора податке које не можете добити адапатацијом за глуве. Та позната сцена из хорор филмова када се неко прикрада с леђа је нешто што можете видети и ја верујем да би ова информација могла да буде корисна у време кад је звук искључен или се уопште не чује. Претпостављам да глувим особама може бити и боље виђење звука, него особама које чују. Не знам. За сада је то само теорија. У ствари, то је само идеја.

Дозволите ми да завршим речима да се звук, као и идеје, креће у свим правцима. Хвала вам. (Аплауз)