Jared Ficklin: Nuovi modi per vedere la musica (con i colori! e il fuoco!)

Le mie passioni sono la musica, la tecnologia e creare cose. Ed è l'insieme di queste cose che mi ha portato all'hobby della visualizzazione sonora, e, in certe occasioni, mi ha portato a giocare con il fuoco.

Questo è il tubo di Rubens. È uno dei tanti che ho creato negli anni, e ne ho portato qui uno stasera. È un tubo di metallo lungo circa 2 metri e mezzo, ha circa un centinaio di fori nella parte superiore, su quel lato c'è l'altoparlante, e qui ci sono alcuni cilindri da laboratorio, ed è connesso a questa tanica di propano. Bene, accendiamolo e vediamo che cosa fa. Ora produciamo un suono di 550 Hertz di frequenza e vediamo cosa succede.

(Frequenza)

Grazie. (Applausi) Va bene applaudire alle leggi della fisica, ma sostanzialmente, quello che succede qui -- (Risate) -- è che l'energia del suono tramite l'aria e le molecole del gas influenzano le proprietà di combustione del propano, creando un'onda visibile, e possiamo vedere l'alternanza di zone di compressione e la rarefazione che chiamiamo frequenza, e l'altezza ci mostra l'ampiezza. Ora cambiamo le frequenza del suono, e guardiamo cosa succede al fuoco.

(Frequenza più alta)

Per cui ogni volta che tocchiamo una frequenza risonante otteniamo un'onda stazionaria e quella curva sinusoidale del fuoco. Spegniamo. Siamo al chiuso. Grazie. (Applausi)

Ho portato anche un tavolo a fiamme. È molto simile al tubo di Rubens, ed viene anch'esso usato per visualizzare le proprietà fisiche del suono, tipo l'autostato, per cui accendiamolo e vediamo cosa fa.

Ooh. (Risate) OK. Ora, mentre il tavolo raggiunge la pressione, notiamo che il suono non viaggia in moto rettilineo. Ma viaggia in tutte le direzioni, e il tubo di Rubens, funziona un pò come se stesse bisezionando quelle onde con una linea, e il tavolo a fiamme funziona un pò come se stesse bisezionando quelle onde con un piano, e mostra una certa complessità nascosta, motivo per cui mi piace usarlo per guardare Goeff Farina suonare la chitarra.

(Musica)

Bene, quindi è una danza delicata. Se guardate con attenzione - (Applausi) Se guardate con attenzione, avrete notato alcune degli autostati, ma avrete anche visto che la musica jazz è meglio con il fuoco. Anzi, nel mio mondo molte cose sono migliori col fuoco, ma il fuoco è solo il punto di partenza. Mostra molto bene come gli occhi possano sentire, e questo per me è interessante perchè la tecnologia ci permette di mostrare il suono agli occhi in modi che accentuano la forza degli occhi nel vedere i suoni, per esempio rimuovendo il tempo.

Qui sto usando un algoritmo di rendering per colorare le frequenze della canzone "Smells Like Teen Spirit" in modo che gli occhi possano vederle come una singola immagine, e la tecnica mostra anche la potenza della corteccia visiva per il riconoscimento di un motivo. Se vi mostro un'altra canzone tratta da questo album, e un'altra, i vostro occhi individueranno facilmente l'uso della ripetizione dei Nirvana, e nella distribuzione della frequenza, i colori, vedete il suono pulito-sporco-pulito per il quale sono famosi, ed ecco l'intero album in una singola immagine, e penso che questa immagine sia piuttosto efficace.

O almeno, è così efficace che se vi mostro queste 4 canzoni, e vi ricordo che questa è "Smells Line Teeen Spirit", potrete probabilmente indovinare senza ascoltare nessuna musica, che la canzone che un appassionato dei Nirvana si godrebbe è questa canzone, "I'll Stick Around" dei Foo Fighters, con il solista Dave Grohl, che era il batterista dei Nirvana. Le canzoni sono piuttosto simili, ma più che altro io sono interessato all'idea che un giorno forse compreremo una canzone perché ci piace il suo aspetto.

OK, adesso vediamo altri dati sonori. Questi sono dati di una skatepark, e questo è lo skatepark di Mable Davis ad Austin, Texas. (Suoni di skateboard) E i suoni che state sentendo vengono da 8 microfoni attaccati agli ostacoli presenti nel parco, ed è il suono del caos, mentre in effetti tutte le acrobazie cominciano con una botta, ma le acrobazie ben riuscite finiscono con un pop, mentre le acrobazie malriuscite più con un strisciata o un capitombolo, e le acrobazie sulla ringhiera hanno il suono di un gong, e le voci hanno delle frequenze davvero uniche in uno skatepark.

Per cui se volessimo tradurre i suoni in immagini, ci potremmo ritrovare con qualcosa del genere. Questo è l'intera registrazione di 40 minuti, e subito l'algoritmo ci dice che sono più le acrobazie malriuscite rispetto a quelle riuscite e anche che le acrobazie sulle ringhiere ricevono più facilmente un'ovazione, e se guardate davvero attentamente, potete identificare gli schemi del traffico. Vedete che gli acrobati spesso fanno le acrobazie in questa direzione. Gli ostacoli sono più facili.

E nel bel mezzo della registrazione, i microfoni lo rilevano ma più avanti nella registrazione, arriva questo ragazzo, e comincia a usare un tratto all'inizio del parco per fare delle acrobazie più avanzate su una cosa chiamata la ringhiera alta. Ed è sorprendente. In questo esatto momento, tutti gli acrobati ruotano le loro traiettorie di 90 gradi per non ostacolarlo. Vedete, c'è una convezione non scritta negli skatepark, ed è gestita da figure chiave, che di solito sono i ragazzi che riescono a fare le acrobazie migliori, o che vestono pantaloni rossi, e quel giorno i microfoni lo hanno rilevato.

OK, dalla fisica degli skateboard alla fisica teorica. Io sono un grande fan di Stephen Hawking, e ho voluto usare tutte le 8 ore della sua serie di lezioni a Cambridge per creare un omaggio. In questa serie, lui parla aiutato da un computer, che permette di identificare la fine delle frasi abbastanza facilmente. Così ho scritto un algoritmo guida. Ascolta le lezioni, e poi usa l'ampiezza di ogni parola per muovere un punto su l'asse delle x, e usa l'intonazione delle frasi per muovere lo stesso punto lungo l'asse delle y.

E da queste tendenze vedete che ci sono piu' domande che risposte nelle leggi della fisica e quando arriviamo alla fine di una frase, posizioniamo una stella in quel punto. Così ci sono molte frasi, e di conseguenza molte stelle, e alla fine della visualizzazione di tutto l'audio, questo è quello che otteniamo. Questo è l'universo di Stephen Hawking.

(Applausi)

Questo è l'intera serie di 8 ore di lezione a Cambridge visualizzate in una sola immagine, e questa immagine mi piace molto, ma molte persone pensano sia finta. Per cui ho creato una versione più interattiva, e l'ho fatto usando la loro posizione temporale durante le lezioni per posizionare le stelle in uno spazio in 3D, e con software dedicati e un Kinect, posso camminare dentro la lezione. Mi metto a salutare attraverso il Kinect e prendo il controllo, e ora mi allungo e vado a toccare una stella, e facendolo faccio partire la frase che ha generato quella stella.

Stephen Hawking: C'è una, ed una sola disposizione in cui i pezzi formano una figura completa.

Jared Ficklin: Grazie. (Applausi) Ci sono 1400 stelle. È un modo molto divertente di esplorare la lezione, e, spero, un omaggio adeguato.

Bene. Fatemi concludere con un lavoro in corso. Dopo 30 anni penso che esista la possibilità di creare una versione avanzata della sottotitolatura. Abbiamo visto molti dei TEDTalks online, per cui guardiamone uno con l'audio spento e con i sottotitoli.

Non ci sono sottotitoli per la colonna sonora di TED, per cui ce la perdiamo, ma se ne avete visti parecchi, la sentite nell'orecchio della vostra mente, e poi inizia l'applauso. Di solito comincia qui, cresce e poi si spegne. A volte c'è anche un piccolo applauso da star, e poi penso che anche Bill Gates fa un respiro nervoso, e l'intervento comincia.

Ok, riguardiamo questo video. Questa volta, non dirò una parola. E di nuovo non ci sarà l'audio, ma quello che farò è interpretare il suono visivamente in tempo reale alla base dello schermo. Per cui guardate con attenzione e vedete cosa i vostri occhi riescono a sentire.

Secondo me è piuttosto straordinario. Già dalla prima visione, i vostri occhi noteranno facilmente dei motivi, ma riguardando più volte, il vostro cervello impara a convertire questi motivi in informazioni. Riuscite a percepire il tono e il timbro e l'andamento del discorso, cose che non si percepiscono tramite i sottotitoli. Quella famosa scena dei film dell'orrore in cui qualcuno si avvicina da dietro è una cosa che si puo' vedere, e io credo che questa informazione sarebbe qualcosa di molto utile nei momenti in cui l'audio è spento o non si sente, e suppongo che un pubblico non udente sarebbe anche più bravo a vedere il suono rispetto ad un pubblico che riesce a sentire. Non so. Per ora è solo teoria. Anzi, è semplicemente un'idea.

E fatemi finire dicendo che il suono si muove in tutte le direzioni, così come le idee. Grazie. (Applausi)