Jared Ficklin: Noi moduri de a privi muzica (prin culori și foc!)

Pasiunile mele sunt muzica, tehnologia și să construiesc lucruri. Combinarea acestora m-a condus la hobby-ul vizualizării sunetului și uneori am ajuns să mă joc cu focul.

Acesta e un tub Rubens, unul dintre multele pe care le-am făcut de-a lungul anilor. Am unul aici, în seara asta. E un tub metalic de 2,5 m, are vreo sută de orificii, pe partea asta e difuzorul, iar aici e tubulatură de laborator conectată la acest rezervor de propan. Să-l aprindem să vedem ce face. Să redăm frecvența de 550 Hz și să urmărim ce se întâmplă.

(Frecvență)

Mulțumesc. (Aplauze) E OK să aplaudăm legile fizicii, dar ce se întâmplă aici, în esență -- (Râsete) energia sunetului transmisă prin aer și moleculele de gaz influențează proprietățile de ardere ale propanului, creând o formă de undă vizibilă. Vedem regiunile alternative de compresie și rarefiere pe care o numim frecvență, iar înălțimea ne arată amplitudinea. Să schimbăm frecvența sunetului și să vedem ce se întâmplă cu focul.

(Frecvență mai mare)

De fiecare dată când atingem o frecvență de rezonanță obținem o undă staționară, respectiv o curbă sinusoidală a focului. S-o închidem. Suntem înăuntru. Mulțumesc. (Aplauze)

Am cu mine și o masă cu flăcări. E similară tubului Rubens, e folosită în vizualizarea proprietăților fizice ale sunetelor precum stările eigen. S-o aprindem să vedem ce face.

O! (Râsete) OK, până când masa își egalizează presiunea, observați că sunetul nu se transmite în linii perfecte. De fapt, se transmite în toate direcțiile, tubul Rubens reprezentând intersecția undelor cu o linie, iar masa cu flăcări e ca și cum ai intersecta undele cu un plan, etalând o complexitate puțin mai subtilă, motiv pentru care îmi place s-o folosesc să-l ascult pe Geoff Farina cântând la chitară.

(Muzică)

E un dans delicat. Dacă priviți cu atenție — (Aplauze) Dacă ați privit cu atenție poate ați văzut unele eigen-stări, dar poate ați văzut și că muzica jazz sună mai bine cu foc. De fapt, multe merg mai bine cu foc în lumea mea, dar focul e doar mediul revelator. Demonstrează clar că ochii pot auzi. Mi se pare interesant pentru că tehnologia ne permite să prezentăm ochilor sunetul în moduri care accentuează capacitatea ochilor de a vedea sunetul, precum eliminarea timpului.

Aici folosesc un algoritm de redare pentru a evidenția frecvențele cântecului „Smells Like Teen Spirit” într-un mod în care ochii le pot interpreta ca pe o singură amprentă vizuală. Tehnica va demonstra de asemenea capacitatea cortexului vizual de a recunoaște tipare. Dacă vă arăt un alt cântec din acest album, și încă unul, ochii voștri vor distinge imediat folosirea repetiției de către formația Nirvana, iar în distribuția frecvențelor, a culorilor, puteți observa sunetul curat-murdar-curat pentru care sunt faimoși. Iată întregul album ca o singură amprentă vizuală. Cred că această amprentă e destul de puternică.

Cel puțin atât de puternică încât, dacă vă arăt aceste patru cântece și să vă reamintesc că acela e „Smells like Teen Spirit”, veți putea probabil ghici corect, fără a asculta muzică de loc, că piesa pe care un fan Nirvana ar agrea-o este „I'll Stick Around” a celor de la Foo Fighters, al căror solist principal este Dave Grohl, fost toboșar în formația Nirvana. Cântecele sunt oarecum asemănătoare, dar cel mai mult mă interesează ideea că poate cândva vom cumpăra un cântec pentru că ne place cum arată.

OK, acum mai multe date despre sunet. Astea sunt date dintr-un parc de skateboard, iar acesta e parcul de skateboard Mabel Davis din Austin, Texas. (Sunete de skateboard) Sunetele pe care le auziți veneau de la opt microfoane atașate obstacolelor din parc și sună haotic, dar de fapt toate trucurile încep cu o pocnitură distinctă, însă trucurile care ies bine se încheie cu o pocnitură, pe când trucurile eșuate mai mult cu o zgârietură și o cădere. Trucurile de pe șină vor suna ca un gong, iar vocile ocupă frecvențe unice în parcul de skateboard.

Dacă am reda vizual aceste sunete, am putea ajunge la așa ceva. Iată toate cele 40 de minute ale înregistrării, algoritmul ne spune imediat că mult mai multe trucuri sunt ratate decât reușite, și, de asemenea, că un truc pe șină e mai probabil să producă o ovație, iar dacă priviți foarte atent, puteți extrage tiparele de trafic. Vedeți patinatorii făcând trucurile în direcția asta. Obstacolele sunt mai ușoare.

În mijlocul înregistrării, microfoanele au arătat asta, însă mai târziu în înregistrare apare puștiul ăsta care începe să folosească o linie din vârful parcului pentru a face niște trucuri foarte avansate pe ceva numit șina înaltă. E fascinant. În acest moment toți ceilalți patinatori își schimbă direcția cu 90 de grade pentru a nu-i sta în cale. Există o etichetă subtilă în parcul de skateboard, condusă de influenți cheie care tind să fie puștii care pot face trucurile cele mai bune, sau care poartă pantaloni roșii, iar în acea zi microfoanele au arătat asta.

OK, de la fizica patinajului la fizica teoretică. Sunt un mare fan al lui Stephen Hawking. Voiam să folosesc toate cele opt ore ale cursului său la Cambridge pentru a-i aduce un omagiu. În această serie el vorbește cu ajutorul unui calculator, care face ca identificarea finalurilor de propoziție să fie relativ ușoară. Așa că am scris un algoritm de urmărire, care ascultă prelegerea și apoi folosește amplitudinea fiecărui cuvânt să mute un punct pe abscisă și folosește inflexiunea propozițiilor să mute același punct în sus și în jos pe ordonată.

Iar aceste linii de trend, vedeți, sunt mai multe întrebări decât răspunsuri în legile fizicii, iar când ajungem la sfârșitul unei propoziții, plasăm o stea în acea locație. Așadar, sunt multe propoziții, deci multe stele. Redând întreaga înregistrare audio, iată ce obținem. Acesta e universul lui Stephen Hawking.

(Aplauze)

Sunt cele opt ore ale seriei de prelegeri de la Cambridge redate într-o singură amprentă vizuală. Chiar îmi place imaginea asta, dar mulți oameni cred că nu e reală. Așa că am construit o versiune mai interactivă și am făcut asta folosind poziția lor în timpul conferinței pentru a plasa aceste stele în spațiul 3D, iar cu niște programe dedicate și un Kinect, pot păși în mijlocul prelegerii. O să-i fac cu mâna dispozitivului Kinect acum și o să preiau controlul, iar acum am să întind mâna și am să ating o stea, iar când o voi face va reda propoziția care a generat acea stea.

Stephen Hawking: Există un aranjament și numai unul în care piesele alcătuiesc o imagine completă.”

Jared Ficklin: Mulțumesc. (Aplauze) Sunt 1400 de stele. E un mod distractiv de a explora prelegerea și, sper, un omagiu adecvat.

OK. Permiteți-mi să închei cu un proiect în lucru. Cred că, după 30 de ani, există posibilitatea de a crea o versiune îmbunătățită a subtitrărilor pentru surdomuți. Am văzut cu toții multe prezentări TED online, deci haideți să urmărim acum una cu sunetul oprit dar cu subtitrarea pornită.

Nu există subtitrare pentru melodia generică TED, și ne lipsește, dar dacă ați văzut suficient de multe o puteți auzi cu urechea minții. Apoi încep aplauzele. În general încep aici, sunetul se amplifică și apoi cade. Uneori auzi câteva aplauze singuratice, după care cred că și Bill Gates respiră cu emoție și începe discuția.

În regulă, să urmărim acest clip din nou. De data asta n-am să vorbesc deloc. Nu se va auzi nimic, dar voi reda sunetul vizual, în timp real, la baza ecranului. Urmăriți cu atenție și vedeți ce pot auzi ochii dvs.

Pentru mine e chiar uimitor. Chiar la prima vizionare, ochii vor distinge cu succes tiparele, iar după vizionări repetate creierul devine tot mai bun la transformarea acestor tipare în informație. Puteți înțelege tonul, timbrul și ritmul discursului, lucruri pe care nu le puteți observa din subtitrări. Acea scenă faimoasă din filmele de groază în care cineva vine încet din spate e ceva ce puteți vedea și cred că informația asta ar fi utilă în momentele în care sunetul e închis sau nu se aude deloc. Bănuiesc că audiența surdomută ar putea fi chiar mai bună în a vedea sunetele decât audiența normală. Nu știu. Momentan e o teorie. De fapt, totul e doar o idee.

Și permiteți-mi să închei spunând că sunetul se propagă în toate direcțiile, iar ideile la fel. Mulțumesc. (Aplauze)