Jared Ficklin: Nieuwe manieren om muziek te 'zien' (met kleur! en vuur!)

Mijn passies zijn muziek, technologie en dingen maken. De combinatie van deze dingen leidde mij naar geluidsvisualisatie en, af en toe, spelen met vuur.

Dit is een van de vele vlambuizen die ik maakte en ik heb er één mee vanavond. Het is een 2,5m lange metalen buis, met aan de bovenkant ongeveer honderd gaten. Aan die kant zit de luidspreker en hier is een labobuis, verbonden met een propaantank. Ik maak het vuur aan en kijk naar het resultaat. Ik speel een frequentie van 550 hertz. Kijk wat er gebeurt.

(Frequentie)

Dank je. (Applaus) Oké, een applaus voor de fysica-wetten. Hier gebeurt eigenlijk het volgende: (Gelach) de energie van het geluid beïnvloedt via de lucht- en gasmoleculen de verbrandingseigenschappen van het propaangas en creëert een zichtbare golfvorm. We zien de afwisselende regio's van uitzetting en inkrimping, wat wij frequentie noemen. De hoogte toont de amplitude. Ik wijzig de frequentie van het geluid. Kijk wat er gebeurt met het vuur.

(Hogere frequentie)

Telkens als we een resonante frequentie raken, krijgen we een staande golf en een opkomende sinuscurve van vuur. Ik schakel even uit. (Applaus)

Ik heb ook een vlamtafel mee, vergelijkbaar met een vlambuis. Ik gebruik ze ook voor het visualiseren van de fysieke eigenschappen van geluid, zoals eigenmodes. Ik verhoog de druk even. Kijk wat het doet.

Ooh. (Gelach) Oké Ik merk hier dat het geluid niet in perfecte lijnen loopt. Het loopt in alle richtingen. De vlambuis deelt die golven als het ware met een lijn in twee. De vlamtafel doet hetzelfde maar een beetje zoals een vliegtuig. Het toont een meer subtiele complexiteit. Daarom gebruik ik het graag om naar Geoff Farina's gitaarspel te ‘kijken’.

(Muziek)

Oké, het is een delicate dans. Als je aandachtig kijkt, (Applaus) zag je misschien enkele van de eigenmodes, maar misschien ook dat jazzmuziek beter is met vuur. Voor mij is zowat alles beter met vuur. Het vuur is gewoon een basis die zeer goed toont dat ogen kunnen ‘horen’ Voor mij is het boeiend dat technologie geluid kan maken voor de ogen Voor mij is het boeiend dat technologie geluid kan maken voor de ogen op een manier die de kracht van de ogen accentueert om geluid te zien, zoals het wegvallen van de tijd.

Met behulp van een algoritme schilder ik de frequenties van het lied 'Smells Like Teen Spirit' op een manier die de ogen begrijpen als één enkele visuele indruk. De techniek toont ook de sterke punten van de visuele cortex voor patroonherkenning. Als ik je een paar nummers van dit album laat zien, zullen je ogen gemakkelijk het gebruik van herhaling herkennen van Nirvana, zullen je ogen gemakkelijk het gebruik van herhaling herkennen van Nirvana, In de frequentieverdeling, in de kleuren, zie je het netjes-vuil-netjes-geluid waarvoor ze beroemd zijn. Hier is het volledige album als een enkele visuele indruk. Deze indruk is vrij krachtig.

In ieder geval krachtig genoeg dat als ik je vier nummers zou tonen, en zeg dat dit ‘Smells Like Teen Spirit’ is, je waarschijnlijk juist raadt, zonder te luisteren naar enige muziek. Het lied dat een échte fan van Nirvana graag hoort, is ‘I'll Stick Around’ van de Foo Fighters, gezongen door Dave Grohl, de drummer van Nirvana. De nummers zijn vergelijkbaar, maar mij interesseert De nummers zijn vergelijkbaar, maar mij interesseert enkel het idee dat we ooit een liedje zullen kopen, omdat het er mooi uitziet.

Meer geluidsgegevens nu. Dit zijn gegevens van een skatepark. Dit is Mabel Davis Skatepark in Austin, Texas. (Skateboard geluiden) De geluiden die je hoort, komen uit acht microfoons, aangebracht in het park. Het klinkt als chaos, maar eigenlijk beginnen alle stunts met een duidelijke klap. Succesvolle stunts eindigen met een ‘pop’, Mislukte stunts met een kras en een tuimeling. Stunts op de spoorstaaf klinken als een gong. Stemmen bezetten zeer unieke frequenties in het skatepark.

Als wij deze geluiden visueel willen voorstellen, zou het iets als dit worden. Dit is de volledige opname van 40 min. het algoritme vertelt ons meteen dat veel meer stunts gemist dan gemaakt worden en ook dat een stunt op de rails veel meer kans geeft op gejuich en als je echt goed kijkt, kan je er bepaalde patronen uithalen. De schaatsers stunten vaak in deze richting: de obstakels zijn gemakkelijker.

De microfoon neemt constant op. Later in de opname verschijnt een jongen die met behulp van een lijn aan de bovenkant van het park enkele heel geavanceerde stunts op het hoge spoor uitvoert. Het is fascinerend. Op dit moment draait de rest van de schaatsers 90° en gaat opzij. Je ziet dat er een subtiele etiquette heerst in het skatepark geleid door belangrijke beïnvloeders, meestal de kinderen die de beste stunts uithalen, of in rode broek. De microfoons registreren dat.

Van skate-natuurkunde naar theoretische natuurkunde. Ik ben een grote fan van Stephen Hawking. Ik wilde gebruik maken van zijn acht uur durende Cambridge-lezingenreeks voor een eerbetoon. In deze serie spreekt hij met behulp van een computer, waardoor identificatie van het einde van zinnen vrij gemakkelijk is. Ik schreef een sturend algoritme. Het luistert naar de lezing en gebruikt vervolgens de amplitude van elk woord en plaatst een punt op de x-as. Het maakt gebruik van de verbuiging van zinnen om eenzelfde punt omhoog en omlaag te zetten op de y-as.

Op deze trendlijnen kan je zien dat er meer vragen dan antwoorden zijn in de fysicawetten. Op het einde van een zin plaatsen we een ster. Een heleboel zinnen betekent een heleboel sterren. en na het verwerken van alle audio krijgen we dit: dit is Stephen Hawkings universum.

(Applaus)

De acht uren van de Cambridge-lezingenreeks, samengebracht in één enkele visuele impressie. Ik houd echt van dit beeld, maar veel mensen denken dat het nep is. Ik maakte een meer interactieve versie, door gebruik te maken van hun tijdspositie in de lezing plaatste ik deze sterren in een 3D-ruimte. Met behulp van aangepaste software en een Kinect kan ik door de lezing lopen. Ik wuif in de Kinect hier en neem controle. Ik raak een ster aan en op dat moment speelt de zin van deze ster af. speelt de zin van deze ster af.

Stephen Hawking: Er is één en slechts één orde waar de delen een geheel maken.

Jared Ficklin: Dank je. (Applaus) Er zijn 1400 sterren. Het is echt een leuke manier om de lezing te verkennen en een passend eerbetoon. Het is echt een leuke manier om de lezing te verkennen en een passend eerbetoon.

Ik sluit af met een werk waaraan ik nog bezig ben. Ik denk dat, na 30 jaar, de mogelijkheid bestaat om een verbeterde ondertiteling te maken. We hebben allemaal een heleboel TEDTalks online gezien. Ik laat jullie nu kijken met het geluid uitgeschakeld en de ondertiteling ingeschakeld.

Er is geen ondertiteling voor de TED-themamuziek. We missen het, maar als je genoeg talks hebt bekeken, hoor je de muziek in je geestesoor. Dan klinkt het applaus. Het begint meestal hier, het zwelt aan en valt dan weg. Soms krijg je een klein sterrenapplaus, dan ademt zelfs Bill Gates even nerveus, en het gesprek begint.

We kijken opnieuw naar de clip. Deze keer spreek ik niet, ook nog steeds geen geluid. Deze keer spreek ik niet, ook nog steeds geen geluid. Ik maak het geluid zichtbaar in real time aan de onderkant van het scherm. Kijk aandachtig en zie wat je ogen kunnen ‘horen’.

Ik vind dit verbazingwekkend. Zelfs bij de eerste weergave zullen je ogen met succes patronen opmerken en als je opnieuw kijkt, kunnen je hersenen nog beter patronen opmerken en als je opnieuw kijkt, kunnen je hersenen nog beter deze patronen omzetten in informatie. Je ziet de toon, het timbre en het tempo van de toespraak, dingen die je niet uit de ondertitels haalt. Een beroemde scène uit horrorfilms, waar iemand je langs achter besluipt, wordt iets dat je kunt zien. Deze informatie zou bruikbaar kunnen zijn als de audio is uitgeschakeld of niet gehoord kan worden. Ik veronderstel dat een doof publiek zelfs beter zou kunnen zijn in het zien van geluid dan horend publiek. zelfs beter zou kunnen zijn in het zien van geluid dan horend publiek. Ik weet het niet. Het is nog een theorie. Eigenlijk is het allemaal gewoon een idee.

Ik wil eindigen met te zeggen dat geluid in alle richtingen gaat… en ideeën ook. Dank je. (Applaus)