Jared Ficklin: Noves maneres de veure la música (amb foc i colors!)

Les meves passions són la música, la tecnologia i provar coses. I és la combinació d'aquestes coses la que m'ha portat al hobby de la visualització del so i, en ocasions, també m'ha portat a jugar amb foc.

Això és un tub de Rubens, un dels molts que he anat fent. Us n'he portat un avui. Està format per un tub metàl·lic amb forats a la part superior, un altaveu allà i uns tubs de laboratori, tot connectat a aquest tanc de propà. Encenem-lo, a veure què fa. Posaré una freqüència de 550 hertzs i veurem què passa.

(FREQÜÈNCIA)

(APLAUDIMENTS) Gràcies. Està molt bé que aplaudiu les lleis de la física. El que passa (RIALLES) és que l'energia del so es transmet per mitjà de les molècules de gas i altera les propietats de combustió del propà, fent la forma d'una ona. Podem veure l'alternança entre les zones de compressió i rarefacció, que anomenem "freqüència". L'alçària ens mostra l'amplitud. Ara canviem la freqüència del so i observem què li passa al foc.

(FREQÜÈNCIA MÉS ALTA)

Cada vegada que trobem una ressonància obtenim una ona estacionària i aquesta curva sinusoïdal del foc. Millor ho apaguem, que no som al carrer. Gràcies. (APLAUDIMENTS)

També he portat una taula de foc. És molt semblant a un tub de Rubens, i s'utilitza per visualitzar les propietats físiques del so, com els modes de vibració. Així que encenem-la i vegem què fa.

Oh! (RIALLES) Mentre la taula arriba a la pressió adequada, permeteu-me que us expliqui que el so no es propaga de forma perfectament lineal, sinó en totes direccions. El tub de Rubens "biseca" les ones amb una línia, i la taula de foc ho fa amb un pla, mostrant així detalls més complexos i subtils. Per això m'agrada utilitzar-la per veure Geoff Farina tocant la guitarra.

(MÚSICA DE GUITARRA)

Com veieu, és un ball molt delicat. Si l'heu observat atentament, (APLAUDIMENTS) potser haureu notat alguns dels modes de vibració, o potser també que la música jazz és millor amb foc. De fet, moltes coses són millors amb foc en el meu món. Però el foc només és una base. Ens demostra que els ulls poden sentir, i em sembla molt interessant, perquè la tecnologia ens permet ensenyar sons als ulls de formes que aguditzen la capacitat de l'ull per veure el so, com l'eliminació del temps.

Aquí utilitzo un algoritme de processament per pintar les freqüències de la cançó "Smells Like Teen Spirit" de forma que els ulls les perceben com una impressió visual única, i la tècnica també demostra les capacitats del còrtex visual per al reconeixement de patrons. Així que, si us ensenyo una altra cançó d'aquest àlbum, i una altra, els vostres ulls reconeixeran fàcilment l'ús de la repetició que fa el grup Nirvana. En la distribució de freqüències, els colors, podeu apreciar el famós so net-brut-net que els caracteritza, Aquí teniu l'àlbum sencer en forma d'una única impressió visual, i crec que està carregada d'energia.

Almenys, en té la suficient com per a que, si us ensenyo aquestes quatre cançons, i us recordo que aquesta és "Smells Like Teen Spirit", pogueu endevinar, sense escoltar res, que aquesta és la cançó que podria agradar a un fanàtic de Nirvana. "I'll Stick Around", del grup Foo Fighters, el cantant del qual és Dave Grohl, que a la vegada era el bateria de Nirvana. Les cançons són bastant semblants, però sobretot m'interessa la idea que potser algun dia en comprarem una perquè ens agrada el seu aspecte.

Bé, aquí teniu més exemples. Aquesta informació la vaig extreure del parc de patinatge "Mabel Davis", a Austin, Texas. (SOROLL DE MONOPATINS) I els sons que sentiu van ser gravats per vuit micròfons als diferents obstacles del parc. Sona un poc caòtic, però en realitat tots els trucs comencen amb un so reconeixible. Els trucs que surten bé acaben amb un esclat, mentre els que no, acaben amb una rascada o una caiguda. Els trucs al rail sonen com un gong, i les veus tenen les seves pròpies freqüències al parc.

Si haguéssim de representar visualment aquests sons, arribaríem a una cosa semblant. Aquí hi ha els 40 minuts de gravació, i de seguida l'algorisme ens ensenya que es fallen molts més trucs dels que es fan bé, o que és molt més provable que hi hagi elogis després d'un truc al rail, i si l'observem atentament, descobrirem pautes de trànsit. Els patinadors circulen més d'aquesta manera. Els obstacles són més fàcils.

Això van registrar els micròfons a la meitat de la gravació, però després apareix aquest noi, que comença a utilitzar aquesta zona per fer trucs molt avançats en un obstacle anomenat "la barana". I és fascinant. En aquest moment, la resta de patinadors desvien les seves trajectòries 90º per no fer nosa. Com veieu, hi ha una norma tàcita al parc que depèn dels individus més influents, que solen ser els nois que fan els millors trucs, o que porten pantalons vermells, segons les dades que tenim.

Bé, ara passem de la física del patí a la física teòrica. Sóc un gran fan d'Stephen Hawking, i volia aprofitar les vuit hores de la seva sèrie de conferències a Cambridge per fer-li un homenatge. En aquesta sèrie, parla amb l'ajuda d'un ordinador, que ens permet identificar fàcilment el final de les frases. Així que vaig escriure un algorisme de direcció. Registra la conferència i després utilitza l'amplitud de cada paraula per desplaçar-se per l'eix d'abscisses i la inflexió de les frases per desplaçar-se amunt i avall per l'eix d'ordenades.

I aquestes són les línies de tendència. Hi ha més preguntes que respostes en les lleis de la física. Quan arribem al final d'una frase, col·loquem un estel en aquesta posició. Moltes frases i molts estels, i després de processar tot l'audio, això és el que obtenim. Aquest és l'univers d'Stephen Hawking.

(APLAUDIMENTS)

Les vuit hores de conferències en una sola impressió visual. Aquesta imatge m'encanta, però molta gent pensa que és falsa. Així que vaig fer-ne una versió més interactiva, utilitzant la seva posició en el temps durant la conferència per col·locar els estels en un espai tridimensional. Amb un poc de tecnologia i Kinect ara puc ficar-me en la conferència. Us en faré una demostració. Alçaré el braç i tocaré un estel, i quan ho faci, reproduirà la frase que el va generar.

(Stephen Hawking) Hi ha una disposició, i només una, en la qual les peces formen una imatge completa.

Gràcies. (APLAUDIMENTS) Hi ha 1400 estels. És una forma molt entretinguda d'explorar la conferència, i espero que un bon homenatge.

Permeteu-me que acabi amb un projecte en què estic treballant. Després de 30 anys, crec que existeix l'oportunitat de crear una versió millorada del subtitulat ocult. Tots hem vist moltes de les xerrades de TED, però vegem ara una sense so i amb els subtítols activats.

La cançó d'obertura no està subtitulada i ens la perdem, però si heu vist prou xerrades, segur que la deveu tenir al cap. Després venen els aplaudiments. Solen començar aquí: creixen i després desapareixen. De vegades t'aplaudeixen més, i llavors crec que fins i tot Bill Gates respira nerviós i comença a parlar.

D'acord. Doncs ara vegem el vídeo de nou. Aquesta vegada no diré res. Seguirà sense haver-hi so, però el que faré serà representar-lo visualment, en temps real, a la part inferior de la pantalla. Observeu atentament, a veure què podeu sentir amb els ulls.

Em sembla bastant sorprenent. Fins i tot a primera vista, els vostres ulls captaran pautes, però quan el vegeu més vegades, el vostre cervell podrà transformar aquestes pautes en informació. Es pot captar el to, el timbre i el ritme del discurs. Coses que els subtítols no poden transmetre. La típica escena de les pel·lícules de terror on algú s'acosta per darrere... Només la pots veure, i crec que aquesta informació pot ser útil quan no podem sentir l'àudio i, és una especulació, però és possible que el públic sord sigui millor que el públic general identificant els sons. No ho sé. És la meva teoria. De moment només és una idea.

Però m'agradaria acabar dient que el so es mou en totes direccions, i el mateix fan les idees. Gràcies. (APLAUDIMENTS)