Jared Ficklin : de nouvelles façons de voir la musique (en couleur ! et en flammes !)

Mes passions sont la musique, la technologie et fabriquer des choses. Et c'est la combinaison de ces choses qui m'a amené à faire de la visualisation sonore mon passe temps. et, à l'occasion, m'a amené à jouer avec le feu.

Il s'agit de tube de Rubens. C'est un des nombreux que j'ai fait au fil des ans, et j'en ai un ici ce soir. Il s'agit d'un tube en métal de 2,40 m de long, il a environ une centaine de trous sur le dessus, le haut-parleur est de ce côté, et ici il y a un tuyau de laboratoire, et il est relié à ce réservoir de propane. Alors, allumons le feu et voyons ce qu'il fait. Jouons à une fréquence de 550 herz et regardons ce qui se passe.

(Fréquence)

Merci. (Applaudissements) on peut applaudir les lois de la physique, mais en gros ce qui se passe ici --(Rires)-- est que l'énergie du son via les molécules d'air et de gaz influence les propriétés de combustion du propane, et crée une forme d'onde visible, et nous pouvons voir les régions de compression et de raréfaction alternées que nous appelons fréquence, et la hauteur nous montrer l'amplitude. Modifions donc la fréquence du son, et regardons ce qui arrive au feu.

(Fréquence plus élevée)

Donc chaque fois à qu'on atteint une fréquence de résonnance nous obtenons une onde stationnaire et cette courbe sinusoïdale émergente du feu. Alors éteignons-le. Nous sommes à l'intérieur. Merci. (Applaudissements)

J'ai aussi un tableau de flammes avec moi. Il est très similaire au tube de Rubens, et on s'en sert aussi pour visualiser les propriétés physiques du son, comme les modes propres, alors allumons le feu et voyons ce qu'il fait.

Ooh. (Rires) D'accord. Maintenant, pendant que la table monte en pression, permettez-moi de signaler ici que le son ne voyage pas en lignes parfaites. Il voyage en fait dans toutes les directions, et le tube de Rubens, c'est un peu comme si on coupe en deux ces ondes avec une ligne, et le tableau à flamme c'est un peu comme si on coupe en deux les ondes avec un plan, et ça peut montrer un peu plus complexité subtile, et c'est pourquoi j'aime m'en servir pour regarder Geoff Farina jouer de la guitare.

(Musique)

Bon, donc c'est une danse délicate. Si vous regardez attentivement, (Applaudissements) Si vous regardez attentivement, vous avez peut-être vu certains des modes propres, mais vous avez peut-être vu aussi que la musique jazz est meilleure avec le feu. En fait, beaucoup de choses sont mieux avec le feu dans mon monde, mais le feu n'est qu'une base. Il montre très bien que les yeux peuvent entendre, et c'est intéressant pour moi parce que la technologie nous permet de présenter du son aux yeux dans des manières qui accentuent le point fort qu'ont les yeux pour voir le son, telles que la suppression du temps.

Donc ici, j'utilise un algorithme de rendu pour peindre les fréquences de la chanson « Smells Like Teen Spirit » de façon à ce que les yeux puissent les percevoir comme une impression visuelle unique et la technique montrera également les points forts du cortex visuel pour la reconnaissance des formes. Donc, si je vous montre une autre chanson de cet album, et encore une autre, vos yeux trouveront facilement l'utilisation de la répétition du groupe Nirvana, et dans la distribution de fréquence, les couleurs, vous pouvez voir le son propre-sale-propre qui les a rendus célèbres, et voici l'album entier sous forme dune impression visuelle unique, et je crois que cette impression est assez puissante.

Tout du moins, elle est assez puissante pour que si je vous montre ces quatre chansons, et je vous rappelle que c'est « Smells Like Teen Spirit » vous puissiez probablement deviner correctement, sans écouter aucune musique, que la chanson qu'un vrai fan de Nirvana apprécierait cette chanson, « I'll Stick Around » par les Foo Fighters, dont le chanteur est Dave Grohl, qui était le batteur de Nirvana. Les chansons sont un peu similaires, mais surtout je suis seulement intéressé par l'idée qu'un jour peut-être nous achèterons une chanson parce que nous aimons son aspect visuel.

Bon, maintenant pour encore plus de données sur le son. Il s'agit de données provenant d'un skate park, et c'est le skate park Mabel Davis à Austin, au Texas. (Sons de planche à roulettes) Les sons que vous avez entendu provenaient de huit microphones fixés aux obstacles du parc, et ça ressemble au chaos, mais en réalité toutes les figures commencent avec un clac très distinct, mais les figures réussies finissent par un pop, alors que les figures ratées finissent plutôt par un son de frottement et une chute, et les figures sur le rail sonneront comme un gong, et les voix occupent des fréquences très uniques dans le skate parc.

Donc, si nous devions rendre ces sons visuellement, nous pourrions nous retrouver avec quelque chose comme ça. Il s'agit des 40 minutes d'enregistrement, et tout de suite l'algorithme nous dit que beaucoup plus de figures sont ratées que réussies, et aussi qu' une figure sur les rails est beaucoup plus susceptible de produire une acclamation, et si vous regardez très attentivement, nous pouvons démêler les schémas de circulation. Vous voyez les skateurs font souvent des figures dans cette direction. Les obstacles sont plus faciles.

Et au milieu de l'enregistrement, les micros l'enregsitrent, mais plus tard dans l'enregistrement, ce gamin se ramène et il commence à utiliser une ligne en haut du parc pour faire quelques figures très avancées sur une chose appelée le grand rail. Et c'est fascinant. A ce moment-là, tous les autres skateurs tournent leurs lignes de 90 degrés pour rester hors de son chemin. Vous voyez, il y a une étiquette subtile dans le skate park, et elle est dirigée par les plus infuents, et ils ont tendance à être les enfants qui peuvent faire les meilleures figures, ou qui portent un pantalon rouge, et ce jour-ci les micros ont enregistré ça.

Bon, de la physique du skate à la physique théorique. Je suis un grand fan de Stephen Hawking, et je voulais utiliser la totalité des huit heures de sa série de conférences de Cambridge afin de créer un hommage. Dans cette série il parle à l'aide d'un ordinateur, ce qui rend l'identification des fins de phrases vraiment facile. Alors j'ai écrit un algorithme de pilotage. Il écoute la conférence, et ensuite, il utilise l'amplitude de chaque mot pour déplacer un point sur l'axe des x, et il utilise l'inflexion des phrases pour déplacer un même point vers le haut et le bas sur l'axe des y.

Et ces lignes de tendance, vous pouvez le voir, il y a plus de questions que de réponses dans les lois de la physique, et quand on arrive à la fin d'une phrase, on place une étoile à cet endroit. Donc il y a beaucoup de phrases, donc beaucoup d'étoiles, et après la restitution de tout l'audio, voici ce que nous obtenons. Il s'agit d'univers de Stephen Hawking.

(Applaudissements)

C'est la totalité des huit heures de la série de conférences de Cambridge mises en une impression visuelle unique, et j'aime beaucoup cette image, mais beaucoup de gens pense que c'est une fausse. Donc j'ai fait une version plus interactive, et pour ce faire, j'ai utilisé leur position dans le temps dans la conférence pour placer ces étoiles dans l'espace 3D et avec des logiciels personnalisés et un Kinect, je peux entrer dans la conférence. Je vais faire un signe au Kinect ici et prendre le contrôle, et maintenant je vais tenre la main et je vais toucher une étoile, et quand je le ferai, ça jouera la phrase qui a généré cette étoile.

Stephen Hawking : Il existe un arrangement et un seul, dans lequel les pièces forment une image complète.

Jared Ficklin : Merci. (Applaudissements) Il y a 1 400 étoiles. C'est un vraiment une manière amusante d'explorer la conférence, et, je l'espère, un hommage approprié.

D'accord. Permettez-moi de terminer avec un travail en cours. Je pense que, d'ici 30 ans, il y aura la possibilité de créer une version améliorée de sous-titrage. Nous avons tous vu beaucoup de TEDTalks en ligne, alors regardons-en un en désactivant le son et en activant le sous-titrage.

Il n'y a aucun sous-titrage pour le thème musical de TED, et ça nous manque, mais si vous avez vu assez de ces TEDtalks vous l'entendez dans l'oreille de votre esprit, et puis les applaudissements démarre. Ils commencent habituellement ici et ils s'amplifient et ils retombent. Parfois, on a un peu d'applaudissements vedette, et puis je pense que même Bill Gates prend un souffle nerveux, et commence à parler.

Bon, donc regardons ce clip à nouveau. Cette fois, je ne vais pas parler du tout. Il n'y aura toujours pas d'audio, mais ce que je vais faire, c'est ce que je vais rendre le son visuellement en temps réel au bas de l'écran. Donc soyez attentifs et voyez ce que vos yeux peuvent entendre.

C'est assez incroyable pour moi. Même en le voyant pour la première fois, vos yeux réussiront à voir des modèles, mais en le regardant plusieurs fois, votre cerveau s'améliore effectivement pour transformer ces modèles en information. Vous pouvez saisir le ton et le timbre et le rythme de la parole, des choses que vous ne pouvez saisir avec le sous-titrage. Cette célèbre scène de films d'horreur où quelqu'un vient par derrière est quelque chose que vous pouvez voir, et je crois que ces informations seraient une chose parfois utile lorsque l'audio est désactivé ou pas entendu du tout, et je pense que les publics sourds pourraient même s'avérer meilleurs pour voir les sons que les publics entendants. Je ne sais pas. C'est une théorie pour l'instant. En fait, c'est tout simplement une idée.

Et permettez-moi de finir en disant que le son se déplace dans toutes les directions, et les idées font de même. Merci. (Applaudissements)