Jared Ficklin: Nuevas formas de ver la música (¡con color y fuego!)

Mis pasiones son la música, la tecnología y fabricar cosas. Y es la combinación de las tres la que me ha llevado a la afición de la visualización del sonido y, en ocasiones, me ha llevado a jugar con fuego.

Este es un tubo de Rubens. Es uno de los muchos que he hecho durante años y tengo uno aquí esta noche. Es un tubo de metal de 2,4 metros de largo, con un centenar de agujeros en la parte superior; el parlante está en este lado y aquí hay un tubo de laboratorio conectado a este tanque de propano. Vamos a encenderlo para ver qué hace. Usemos una frecuencia de 550 herz y veamos qué pasa.

(Frecuencia)

Gracias. (Aplausos) Está bien que aplaudamos a las leyes de la física, pero esencialmente lo que pasa aquí –(Risas)– es que la energía del sonido a través del aire y las moléculas del gas influye en las propiedades de combustión del propano creando una onda visible y podemos ver las regiones alternantes de compresión y de la rarefacción que llamamos frecuencia y la altura nos muestra la amplitud. Cambiemos la frecuencia del sonido y veamos qué sucede con el fuego.

(Frecuencia más alta)

Cada vez que encontramos una resonancia, obtenemos una onda estacionaria y esta curva sinusoidal que emerge del fuego. Apaguémoslo. Estamos en interiores. Gracias. (Aplausos)

También he traído una mesa de fuego. Es muy similar al tubo de Rubens y también se usa para visualizar las propiedades físicas del sonido, como sus vibraciones y oscilaciones, así que vamos a encenderla y veremos qué hace.

¡Oh! (Risas) Mientras esperamos que la mesa alcance presión, permítanme señalar aquí que el sonido no viaja en líneas perfectas. De hecho, viaja en todas direcciones y el tubo de Rubens hace como un corte en dos en las ondas con una línea; la mesa de fuego también hace como un corte en dos de las ondas, pero con un plano y puede mostrar una complejidad un poco más sutil, por ello, me gusta usarla para ver a Geoff Farina tocar guitarra.

(Música)

Muy bien, es una danza delicada. Si observan con atención... (Aplausos) si miran de cerca, es posible que hayan visto algunas de las oscilaciones, pero también pueden haber visto que la música jazz es mejor con fuego. En realidad, en mi mundo, muchas cosas son mejores con fuego, pero este es solo la base. Muestra muy bien que los ojos pueden oír y esto es interesante para mí porque la tecnología nos permite presentar sonido a los ojos de formas que acentúan las fortalezas de los ojos para ver el sonido, tal como la eliminación del tiempo.

Aquí uso un algoritmo de procesamiento para pintar las frecuencias de la canción “Smells Like Teen Spirit” (Huele a espíritu adolescente) de una forma en que los ojos las pueden tomar como una sola impresión visual y la técnica también muestra las fortalezas de la corteza visual para el reconocimiento de patrones. Así que si les muestro otra canción de este álbum, y otra más, sus ojos fácilmente reconocerán el uso de la repetición de la banda Nirvana y en la distribución de frecuencias, los colores, podrán ver el sonido limpio-sucio-limpio que los caracterizó. Aquí está todo el álbum como una única impresión visual y creo que es muy poderosa.

Al menos, es lo suficientemente potente para que al mostrarles estas 4 canciones, y les recuerdo que esta es “Smells Like Teen Spirit”, probablemente puedan adivinar correctamente, sin escuchar la música en absoluto, que la canción que un admirador de Nirvana podría disfrutar, es esta: “I’ll Stick Around” (Me quedaré aquí) de los Foo Fighters, cuyo cantante es Dave Grohl quien fue el baterista de Nirvana. Las canciones son un poco similares, pero sobre todo estoy interesado en la idea de que algún día tal vez vamos a comprar una canción porque nos gusta cómo se ve.

Bien, tengo más datos sobre el sonido. Estos son los datos de un parque de patinaje y este es el “Mabel Davis skate park” en Austin, Texas. (Sonidos de patín) Los sonidos que están escuchando proceden de 8 micrófonos conectados a los obstáculos de todo el parque, y suena como una gran confusión, pero en realidad todas las acrobacias empiezan con un toque muy distinto, pero las acrobacias exitosas terminan con un estallido, mientras que las fallidas terminan con un rasguño y una caída y las acrobacias sobre el carril resuenan como un gong y las voces ocupan frecuencias muy singulares en el parque de patinaje.

Si tuviésemos que representar estos sonidos visualmente, podríamos obtener algo como esto. Aquí están los 40 minutos de la grabación y, de inmediato, el algoritmo nos dice que hay más acrobacias fallidas que exitosas y también que una acrobacia en los rieles tiene más probabilidades de producir aclamación, y si miramos muy de cerca, podemos desentrañar la trayectoria de las acrobacias. Se ve que los patinadores suelen ir en esta dirección. Los obstáculos no son tan difíciles.

Y en medio de la grabación, los micrófonos grabaron esto, pero más tarde en la grabación, aparece este chico y hace una línea en la parte superior del parque para hacer acrobacias muy avanzadas en algo llamado carril alto. Y es fascinante. En ese mismo momento, los demás patinadores giran su líneas en 90 grados para permanecer fuera de su camino. Se observa una marca sutil en el parque de patinaje y está dirigida por los más influyentes y suelen ser los niños los que hacen las mejores acrobacias o usan pantalones rojos y, este día, los micrófonos grabaron esto.

Ahora pasemos de la física del patín a la física teórica. Soy un gran admirador de Stephen Hawking y quería usar las 8 horas de su ciclo de conferencias en Cambridge para hacerle un homenaje. En estas conferencias, él habla con la ayuda de un computador que hace que identifiquemos fácilmente el final de las frases. Así que escribí un algoritmo de dirección que escucha la conferencia y luego usa la amplitud de cada palabra para mover un punto en el eje x y la inflexión de las frases para mover el mismo punto hacia arriba y hacia abajo en el eje y.

Las líneas de tendencia, como pueden ver, muestran que en las leyes de la física hay más preguntas que respuestas y cuando llegamos al final de una oración, colocamos una estrella en ese lugar. Y hay muchas frases, por lo tanto, una gran cantidad de estrellas y esto es lo que tenemos después de grabar todo el audio. Este es el universo de Stephen Hawking.

(Aplausos)

Aquí están las 8 horas de la serie de conferencias en Cambridge tomadas en una sola impresión visual; me encanta esta imagen, pero mucha gente piensa que es falsa. Así que hice una versión más interactiva mediante su posición en el tiempo en la conferencia para colocar estas estrellas en uno espacio 3D y con “software” personalizado y un Kinect, puedo caminar sobre la conferencia. Aquí voy hacer una señal a través del Kinect, tomo el control y ahora voy a estirarme hasta tocar una estrella y, cuando lo hago, reproduzco la frase que generó la estrella.

Stephen Hawking: “Hay un arreglo, solamente uno, en el que las piezas forman una imagen completa”.

Jared Ficklin: Gracias. (Aplausos) Hay 1400 estrellas. Es una manera muy divertida de explorar la conferencia y, espero, un homenaje apropiado.

Permítanme concluir con un proyecto en el que estoy trabajando. Creo que, después de 30 años, existe la posibilidad de crear una versión mejorada de subtítulos. Todos hemos visto muchas charlas TEDTalks en línea, así que vamos a ver una ahora con el sonido apagado, pero con subtítulos.

No hay subtítulos para el tema musical de TED, eso nos falta, pero si han visto suficientes charlas, lo pueden oír mentalmente, luego empiezan los aplausos. Por lo general, comienza aquí, crece y luego cae. A veces tenemos una pequeña estrella de aplausos y después, creo hasta Bill Gates suelta un suspiro nervioso y la charla comienza.

Veamos el clip nuevamente. Esta vez, no voy a hablar en absoluto. Y vamos a seguir sin sonido, pero voy a reproducirlo visualmente en tiempo real en la parte inferior de la pantalla. Observen con atención y verán lo que sus ojos pueden oír.

Para mí, esto es bastante sorprendente. Incluso la primera vez que lo ven, sus ojos identificarán exitosamente los patrones, pero si lo ven repetidas veces, sus cerebros se volverán más agudos para convertir estos patrones en información. Podrán notar el tono, el timbre y el ritmo del discurso, cosas que no se aprecian en los subtítulos. Esa famosa escena en las películas de terror, en la que alguien camina por detrás, es algo que podemos ver, y creo que esta información sería algo útil en momentos en que el audio está apagado o no se escucha nada, y me anticipo a pensar que la gente sorda sería todavía más aguda para ver el sonido, que los que pueden oír. No sé. Es una teoría en estos momentos. En realidad, todo es solo una idea.

Permítanme terminar diciendo que el sonido se mueve en todas direcciones y las ideas también. Gracias. (Aplausos)