Golan Levin maakt kunst die terugkijkt

Hallo. Mijn naam is Golan Levin. Ik ben kunstenaar en ingenieur. Wat een steeds gebruikelijker combinatie is. Maar ik val nog steeds in die nis waar mensen me niet lijken te begrijpen. Ik zocht hier en daar en vond deze prachtige afbeelding. Het is een brief van 'Artforum' uit 1967 waarin staat: "We kunnen ons niet voorstellen ooit een speciale uitgave over elektronica of computers in de kunsten te maken". En ze hebben het nog nooit gedaan. Maar voordat jullie, als 'digerati', nu denken meer verlicht te zijn: ik ging laatst naar de Apple iPhone app store. Waar staat 'kunst'? Ik zie 'productiviteit', ik zie 'sport'. Het idee dat iemand kunst voor de iPhone zou willen maken, wat mijn vrienden en ik nu doen, is blijkbaar nog steeds niet binnengedrongen in ons begrip van de toepassing van computers.

Dus van beide kanten is er een soort gebrek aan inzicht over wat het betekent om als kunstenaar het materiaal van je eigen tijd te gebruiken. Ik denk dat kunstenaars verplicht zijn om echt onderzoek te doen naar de potentie van de nieuwe werktuigen die we hebben. In mijn geval, ik ben kunstenaar en ik ben erg geïnteresseerd in het uitbreiden van de mogelijkheden van het menselijke handelen. Ik wil mensen middels interactiviteit tot meer in staat stellen. Ik wil dat mensen zichzelf als acteurs leren zien, als creatieve acteurs, door middel van interactieve ervaringen.

Veel van mijn werk gaat over het vermijden hiervan. Dit is een foto van het bureaublad van een van mijn studenten. En als ik 'bureaublad' zeg, bedoel ik niet alleen het werkelijke bureau, waar de muis het oppervlak van heeft versleten, maar als je goed kijkt, zie je zelfs vaag het Apple-menu, hier bovenaan links, waar de virtuele wereld letterlijk tot in de fysieke is doorgedrongen. Dit illustreert wat Joy Mountford ooit zei: "De muis is waarschijnlijk het dunste rietje waar je alle menselijke expressie doorheen kan zuigen."

(Gelach)

Wat ik poog te doen, is mensen de mogelijkheid geven om rijkere interactieve belevenissen te ondervinden. Hoe kunnen we de muis achter ons laten en onze lichamen toepassen als methode om artistieke belevingen te onderzoeken, en niet alleen functionele. Ik schrijf dus software. En daarmee doe ik het. Veel van mijn ervaringen zijn ergens te vergelijken met spiegels, omdat ze op een bepaalde manier het eerste medium zijn waarin mensen hun potentie als acteur ontdekken, hun eigen vertegenwoordiging ontdekken. Ze zien: "Wie is die persoon in de spiegel? Oh, ik ben het zelf."

Dus, om een voorbeeld te geven, dit is een project van afgelopen jaar, dat 'Interstitial Fragment Processor' heet. Het geeft mensen de kans de negatieve vormen te verkennen die ze maken als ze hun alledaagse handelingen verrichten. Terwijl mensen vormen maken met hun handen of hoofden enzovoort, of met elkaar, produceren die vormen letterlijk geluiden en ontstaan ze vanuit het niets. Dus eigenlijk die ongeziene ruimte of onontdekte ruimte in iets reëels vatten dat mensen kunnen waarderen en waarmee ze kunnen spelen. Mensen ontdekken op deze manier hun creatieve representatie. Hun eigen persoonlijkheden komen op totaal unieke manieren tevoorschijn.

Naast het gebruik van input van het hele lichaam heb ik inmiddels het gebruik van de stem al een tijd onderzocht. Dat is een immens expressief systeem voor ons, het vocaliseren. Gezang is een van de oudste methoden om van ons te laten horen en elkaar te begrijpen. Ik stuitte op dit fantastische onderzoek van Wolfgang Köhler, de zogenaamde vader van de gestaltpsychologie, uit 1927, die aan een publiek zoals jullie de volgende twee vormen toonde. Hij zei dat een ervan Maluma heet, en de andere Taketa. Welke is welke? Wil iemand een poging wagen? Maluma staat.. bovenaan, ja. Zoals hij hier zegt, antwoorden de meeste mensen zonder aarzeling.

Dus wat we hier zien, is het fenomeen dat men fonesthesie noemt, een soort synesthesie die jullie allen hebben, Dr. Oliver Sacks zei dat waar misschien één op de miljoen personen werkelijke synesthesie heeft, en de kleuren kan horen, vormen kan proeven, en dergelijke, fonesthesie iets is dat we allemaal tot op zekere hoogte kunnen ervaren. Het zijn verbindingen tussen verschillende zintuiglijke eigenschappen, zoals hardheid, scherpte, helderheid en donkerte, en de fonemen waarmee we spreken.

Er is, 70 jaar later, onderzoek gedaan waarin cognitieve psychologen de mate hebben uitgedacht waarin L, M en B eerder worden geassocieerd met vormen als deze, en P, T en K mogelijk eerder met vormen als deze worden geassocieerd. Hier zien we plotseling de relatie in kaart gebrachte tussen kromming, die we numeriek kunnen benutten, en spraak, een relatieve relatie.

Ik bedacht dus: wat zou er gebeuren als we dit omgekeerd toepassen? Zo ontstond het project 'Remark', een samenwerking met Zachary Lieberman en het Ars Electronica Futurelab. Dit is een interactieve installatie die het werpen van schaduwen door spraak verbeeldt. Het idee is dat je in een soort magisch licht stapt en je zodoende de schaduwen van je eigen stemgeluid ziet. Ze vliegen als het ware uit je mond. Als de spraakherkenningssoftware uitvogelt wat je zegt, dan spelt het de woorden. Als het dat niet kan, dan produceert het het een vorm die fonestethisch erg dicht bij de klank van het geluid ligt. Laten we er een video van bekijken.

(Applaus)

Bedankt. Met dit project werkte ik samen met de grote abstracte stemkunstenaar Jaap Blonk. Hij is wereldwijd expert in de uitvoering van de 'Ursonate', een half uur durend onzingedicht van Kurt Schwitters, uit de jaren '20. Het is een half uur vol zeer gecompliceerde nonsens. Het is bijna onmogelijk voor te dragen. Maar Jaap is een van de internationale experts. Binnen dit project ontwikkelden we een vorm van intelligente real-time ondertiteling. Het zijn live ondertitels die worden aangemaakt door een computer die de 'Ursonate'-tekst kent, die Jaap gelukkig ook erg goed kent, en het presenteert de tekst op hetzelfde moment als Jaap. Dus alle tekst die je te zien krijgt, wordt real-time berekend door de computer, en visualiseert wat Jaap doet met zijn stem. Hier kun je de installatie zien, met het scherm met ondertiteling achter hem. Oke. Dus... (Applaus) De volledige video's zijn online te zien, mocht je geïnteresseerd zijn.

Ik kreeg een gemengde reactie toen ik deze performance live liet zien. Omdat er enkele mensen zijn die begrijpen dat live ondertiteling een oxymoron is. Want over het algemeen maakt iemand ze na afloop. En verder was er een groep mensen die reageerden met "Nou, en?" Ik zie constant ondertiteling op tv." Begrijp je? Ze kunnen zich de persoon die alles typt niet voorstellen.

Dus naast het lichaam, en naast de stem, is er iets anders waar ik erg door geboeid ben de laatste tijd, het gebruik van de ogen, of de blik, wat de omgang tussen mensen betreft. Het is een serieuze hoeveelheid van non-verbale informatie die via de ogen wordt overgebracht. Het is een van de meest boeiende technische uitdagingen die de computerwetenschap heden bezighouden. De mogelijkheid over een camera te beschikken die kan begrijpen wat zich op een aardig grote afstand afspeelt. Hoe die kleine ballen eigenlijk in een richting wijzen en onthullen wat je interesseert, en waar je aandacht op gericht is. Er is daar dus een hoop emotionele communicatie aan het werk.

Ik begin te begrijpen, door middel van verschillende projecten, hoe mensen via hun ogen met machines om kunnen gaan. Ik begon me af te vragen "Wat als kunst zich ervan bewust was dat ze bekeken wordt?" Hoe zou ze als het ware reageren op het erkennen of negeren van het feit dat we ernaar kijken? Wat zou ze doen als ze terug kon kijken? Dit zijn dus vragen die meespelen bij de volgende projecten.

In het eerste dat ik toon, genaamd 'Eyecode', is het een stuk interactieve software Het werkt zoals we in deze cirkel zien: "het spoor dat is achtergelaten door het kijken van de vorige toeschouwer kijkt naar het spoor dat is achtergelaten door het kijken van de vorige toeschouwer." Het idee dat een afbeelding volledig bestaat uit haar eigen geschiedenis van het bekeken worden door verschillende mensen binnen een installatie. Dus laat me even overschakelen naar de 'live demo'. Eens kijken of dit gaat werken.

Oké. Ah, er is genoeg mooie heldere video. Daar is een klein testscherm dat laat zien dat het werkt. Ik zal dat nu even verbergen. Je kunt hier zien wat het doet, het registreert mijn ogen telkens wanneer ik knipper. Hallo? En dan kan ik .. hallooo .. oké. Waar ik ook ben, wat er werkelijk gebeurt is dat een oogregistratiesysteem mijn ogen probeert te vinden. Wanneer ik verder weg loop, wordt het onscherper. Je krijgt van dat soort vage vlekken als deze die op een abstracte manier misschien ogen voorstellen. Maar als ik echt dichtbij kom en direct in de camera staar in deze laptop, dan krijg je van deze mooi scherpe ogen.

Je kunt het zien als een soort van typen met je ogen. Wat je typt, zijn eigenlijk registraties van je ogen terwijl je naar de ogen van anderen kijkt. Dus iedere persoon kijkt naar het kijken van iedereen voor hem. Dit vindt plaats in grotere installaties waar er duizenden en duizenden ogen zijn waar mensen naar zouden kunnen staren wanneer ze bekijken hoe andere mensen keken naar de mensen voor hen. Ik voeg er nog maar enkele toe. Knipper. Knipper. Je kunt weer zien hoe het probeert mijn ogen te vinden, en zijn best doet in te schatten wanneer ze knipperen. Oké, genoeg daarover. Dat is dus een soort van recursief observatiesysteem. (Applaus) Dank je wel.

De laatste paar dingen die ik laat zien zijn binnen het nieuwe domein van de robotica eigenlijk nieuw voor mij. Het heet 'Opto-Isolator'. Ik laat een video zien van de oudere versie, die slechts een minuut duurt. Oké. In dit geval knippert de 'Opto-Isolator' als reactie op het geknipper van iemand. Het knippert dus een seconde nadat jij blinkt. Dit apparaat probeert dus het fenomeen van het staren tot de eenvoudigste materialen te reduceren. Slechts één oog, dat naar je kijkt, en de rest van het gelaat is geëlimineerd, om het staren zelf dus te reduceren tot de meest elementaire vorm. Tegelijkertijd probeert het zogenaamde normatieve psychosociale kijkpatronen toe te passen. Zoals wegkijken wanneer je te lang kijkt, omdat het verlegen wordt. En dat soort dingen.

Oke. Het laatste wat ik laat zien, is een nieuw project genaamd 'Snout'. (Gelach) Het is een 2,4 meter lange snuit met een koekeloerend oog. (Gelach) Binnenin zit een 360 kilo zware robotarm die ik heb geleend (Gelach) van een vriend. (Gelach) Het helpt goede vrienden te hebben. Ik ben verbonden aan Carnegie Mellon. We hebben daar een geweldige Robotica-afdeling. Ik wil jullie deze zogenaamde 'Snuit' laten zien, wat -- Het achterliggende idee van dit project is een robot te maken die continu verbaasd lijkt te zijn je te zien. (Gelach) Het idee is eigenlijk dat het constant "Huh? ... Huh?" lijkt te doen. Daarom is zijn andere naam 'Doubletaker', 'Taker of Doubles'. Er is altijd een soort double take, een uitgestelde reactie: "Wat?". Het idee is eigenlijk het te laten kijken en je een gevoel te geven van "Wat? Zijn het mijn schoenen?" "Heb ik iets in mijn haar?" Hier gaat 'ie. Oké.

Hij bekijkt hem goed... Voor de nerds is hier kijkje achter de schermen. Het heeft een kunstmatig kijksysteem en het probeert naar de meest bewegende personen te kijken. Dat zijn zijn doelwitten. Daar is ook het skelet te zien, hoe het in werkelijkheid beweegt. Het gaat om het ontwikkelen van een oorspronkelijke lichaamstaal voor een nieuw wezen. Hollywood doet dit natuurlijk voortdurend. Maar bovendien de lichaamstaal iets laten meedelen aan de persoon die ernaar kijkt. Deze taal deelt mee dat het verbaasd is je te zien, en dat het geïnteresseerd in je is.

(Gelach)

(Applaus)

Hartelijk bedankt. Dat is alles wat ik heb voor vandaag. Ik ben erg blij hier te zijn. Heel erg bedankt.

(Applaus)