John Underkoffler toont de toekomst van de UI

We zijn 25, 26 jaar na de komst van de Macintosh, een verbluffende en baanbrekende gebeurtenis in de geschiedenis van de interface tussen mens en machine en van de berekening in het algemeen. Het bracht een fundamentele wijziging in de manier waarop mensen dachten over berekening, over computers, hoe ze ze gebruikten en wie en hoeveel mensen ze konden gebruiken. Het was zo'n radicale verandering dat het eerste Macintosh ontwikkelingsteam in '82, '83, '84 uit het niets een volledig nieuw besturingssysteem moest schrijven. Dit is een interessante boodschap en het is een les die sindsdien, denk ik, vergeten is of verloren. En dat is dat het besturingssysteem de interface is. De interface is het besturingssysteem. Het is zoals het land en de koning in "Arthur": ze zijn onscheidbaar, ze zijn één. En een nieuw besturingssysteem schrijven was niet zomaar een gril. Het was geen kwestie van een paar grafische routines verbeteren. Er waren geen grafische routines. Er waren geen muisdrivers. Het was dus een noodzaak.

Maar in de kwarteeuw sindsdien hebben we alle fundamentele ondersteunende technologieën de pan uit zien swingen. Geheugencapaciteit en schijfcapaciteit zijn vermenigvuldigd met iets tussen 10.000 en een miljoen. Zo ook de snelheid van de processor. Netwerken? We hadden helemaal geen netwerken ten tijde van de introductie van de Macintosh. En dat is het meest opvallende aspect geworden van ons leven met computers. En natuurlijk ook grafisch vermogen: Voor $84.97 koop je bij Best Buy meer grafisch vermogen dan je tien jaar geleden voor een miljoen dollar had kunnen kopen bij SGI. We hebben dus die ongelooflijke toename. En daarnaast hebben we het Web en in toenemende mate de cloud, die fantastisch is, maar, naarmate een interface fundamenteel is, ook een soort afleiding. We zijn dus vergeten nieuwe interfaces uit te vinden. We hebben op dit gebied in de voorbije jaren veel verandering gezien. En mensen beginnen wakker te worden. Wat nu? Wat is de volgende stap?

Het probleem, zoals wij het zien, heeft met één simpel woord te maken, "ruimte", of met één simpele uitdrukking, "geometrie van de echte wereld". Computers en de programmeertalen waarin we ermee communiceren en waarin we ze onderwijzen zijn verschrikkelijk gevoelloos als het op ruimte aankomt. Ze begrijpen de ruimte van de echte wereld niet. Dat is grappig, want wij vertoeven daar vaak en goed. Ze hebben ook geen begrip van tijd, maar dat is iets voor een afzonderlijke talk.

Wat gebeurt er dus als je ze ruimte uitlegt? Een éérste ding dat je zou kunnen krijgen is iets als de Verlichte Kamer. De Verlichte Kamer is een systeem waarin men ervan uitgaat dat de ruimtes van in- en output op dezelfde plaats zijn. Dat is een vreemd genoeg simpel maar toch nog onverkend idee. Als je een muis gebruikt is je hand hier op de muismat. Dat is zelfs niet in hetzelfde vlak als datgene waarover je spreekt. De pixels zijn daarboven op het scherm. Dus hier was een kamer waarn alle muren, vloeren, plafonds, huisdieren, kamerplanten en wat er ook in aanwezig was, niet alleen kon getoond worden maar ook kon gewaarworden. En dat wil zeggen dat input en output in dezelfde ruimte zijn waardoor dingen zoals dit mogelijk worden. Dat is digitale opslagruimte in een fysieke verpakking. Het systeem is hetzelfde als met reële objecten in verpakkingen in het echte leven. Moet er weer uitkomen, wat je er ook instopt. Dit kleine design-experiment dat een klein kantoor is, kende ook een paar truukjes. Als je het een schaakbord toonde probeerde het uit te zoeken wat je daarmee kon bedoelen. En als ze niets te doen hadden werden de schaakstukken het beu en sprongen ze weg.

De academici die dit werk onder hun hoede hebben vonden dat te frivool dus maakten we bloedernstige toepassingen zoals deze werkbank voor optische prototypes waarin een tandpastadop op een kartonnen doos een laser wordt. De straalsplitsers en lenzen worden voorgesteld door fysieke voorwerpen en het systeem projecteert langs het pad van de lasterstraal. Je hebt dus een interface die geen interface heeft. Je gaat in deze wereld tewerk zoals in de echte wereld, dat wil zeggen met je handen. Op de zelfde manier, een digitale windtunnel met digitalie wind die van rechts naar links gaat. Niet zo opmerkelijk, in zekere zin. We hebben geen wiskunde uitgevonden. Maar als je dat op een CRT of een flat panel display weergeeft zou het zinloos zijn om zomaar een object omhoog te houden, een object uit de echte wereld. Hier vermengt de echte wereld zich met de simulatie.

En tenslotte, om alles uit de kast te halen: dit is een systeem dat Urp heet, voor urbanisten, waarin we architecten en urbanisten de modellen hebben teruggegeven die we in beslag namen toen we eisten dat ze CAD systemen zouden gebruiken. En we laten de machine ze halverwege tegemoet komen. Ze projecteert digitale schaduwen, zoals je hier ziet. En als je tools zoals deze omgekeerde klok introduceert dan kan je de positie van de zon in de hemel controleren. Dat zijn schaduwen om 8u 's ochtends. Ze worden wat korter om 9u 's ochtends. En kijk, je manipuleert de zon. Korte schaduwen 's middags en zo. We hebben een reeks van deze tools gebouwd. Er is de studie van onderlinge schaduwen die kinderen kunnen bedienen zelfs als ze niets weten over urbanisatie, om een gebouw te bewegen strek je gewoon je hand uit en beweeg je het gebouw. Een fysieke toverstok maakt het gebouw tot een soort Frank Gehry-spul dat licht reflecteert in alle richtingen. Verblind je voorbijgangers en auto's op de snelwegen? Een ruimtelijke ordening-tool verbindt structuren die ver van elkaar af zijn, een gebouw en een weg. Zullen de verantwoordelijken voor ruimtelijke ordening je een proces aandoen? Enzovoort. Als deze ideeën je bekend voorkomen of zelfs wat uit de tijd zijn, dan is dat fantastisch: ze zouden je bekend moeten voorkomen.

Dit werk is 15 jaar oud. Dit was een onderneming van het MIT en het Media Lab onder de ongelooflijke leiding van Prof. Hiroshi Isii, directeur van de Groep Tastbare Media. Dat werk zag Alex McDowell, één van de legendarische productiedesigners. Alex werkte aan een kleine nogal obscure indie arthouse film getiteld "Minority Report", voor Steven Spielberg. Hij nodigde ons uit om MIT te verlaten en de interfaces te ontwerpen die in die film zouden te zien zijn. En wat was fantastisch was is dat Alex zo toegewijd was aan de getrouwheid aan de idee dat het denkbeeldige 2054 dat we in de film afbeeldden geloofwaardig moest zijn, waardoor hij ons toeliet om onze ontwerpopdracht aan te pakken alsof het een onderzoeksinspanning was. En het resultaat heeft iets van een tot dankbaarheid strekkende tijdloosheid. Mensen verwijzen nog steeds naar die scenes uit "Minority Report" als het hebben over het ontwerpen van een nieuw gebruikersinterface hebben. En dat leidde dan weer, op een vreemde manier, tot de omvorming van deze ideeën tot wat volgens ons de noodzakelijke toekomst is van de interface tussen mens en machine, wat we noemen de ruimtelijke operationele omgeving.

We hebben dus een hoop dingen, wat beelden, en met een hand hebben we zes vrijheidsgraden ter beschikking, zes graden van controle over de navigatie. En het is leuk om door het oog van mijnheer Becket te vliegen En je kan er terug uitkomen langs de enge orang oetan. Dat is allemaal prima. Laten we iets doen dat wat moeilijker is. Hier hebben we een hoop ongerelateerde beelden. We kunnen er omheen vliegen. Navigatie is dus een fundamenteel punt. Je moet in 3D kunnen navigeren. Veel van waar we hulp voor willen van computers is intrinsiek ruimtelijk. En het deel dat niet ruimtelijk is kan ruimtelijk worden gemaakt om onze wetware toe te laten het beter te begrijpen. We kunnen deze spullen op vele verschillende manieren organiseren. We kunnen het zo verspreiden. Laten we het resetten. We kunnen het op deze manier organiseren.

En het gaat natuurlijk niet alleen om navigatie maar ook om manipulatie. Dus als we iets niet leuk vinden of als we diepe interesse hebben voor de wetenschappelijke falsificaties van Ernst Haeckel, dan kunnen we ze er zo uithalen. En als het tijd is voor analyse kunnen we ons wat terugtrekken en een andere distributie vragen. Laten we wat dalen en rondvliegen. Dus dat is een andere manier om naar dingen te kijken. Als je een eerder analytisch type bent dan kan je dit misschien bekijken als een histogram in kleur. Nu hebben we de spullen dus op kleur gesorteerd, de invalshoek is de kleur. En als we nu spullen willen selecteren, 3D, ruimte, de idee dat we handen in de reële ruimte volgen wordt echt belangrijk omdat we er in kunnen reiken niet in 2D, niet in nep-2D maar in 3D. Hier zijn wat selectievlakken. En we zullen deze Booleaanse bewerking doen omdat we dol zijn op geel en op tapirs op groen gras.

Dus, van hieruit naar de echte wereld. Hier is een logistiek systeem, een klein onderdeel van eentje dat we nu aan het bouwen zijn. Er zijn vele elementen. En één ding dat erg belangrijk is, is om traditionele data in tabellen te combineren met driedimensionele en geospatiale informatie. Dit is een vertrouwde plek. En we brengen dit even hier naartoe. Selecteer misschien een beetje daarvan. En breng die grafiek naar voren. En we zouden nu in staat moeten zijn om hierheen te vliegen en van dichterbij te kijken. Dit zijn logistieke elementen die verspreid zijn over de Verenigde Staten.

Eén ding dat driedimensionele interactie en het algemene idee om berekeningen in ruimte te drenken je toelaten is de uiteindelijke vernietiging van die onfortuinlijke één-op-één-relatie tussen mensen en computers. Dat is de oude manier van doen, de oude mantra één machine, één mens, één muis, één scherm. Dat is niet echt voldoende meer. In de echte wereld hebben we mensen die samenwerken, we hebben mensen die moeten samenwerken. En we hebben veel verschillende schermen. En we kijken naar die verschillende beelden. Misschien willen we iemand om hulp vragen.

De maker van deze nieuwe aanwijzer zit daar dus ik kan dit van daar naar daar slepen. Dit zijn ongerelateerde machines. De berekening kan dus worden ontbonden in ruimte en netwerk. Ik zal dat dus daar laten omdat ik een vraag heb voor Paul. Paul is de ontwerper van de staf, en misschien is het makkelijkst als hij hierheen komt en mij zelf vertelt wat er gebeurt. Laten we deze dingen uit de weg zetten. Laten we dit uit elkaar halen. Ik laat het ontploffen. Kevin, kan je helpen? Even kijken of ik ons kan helpen om het circuit board te vinden. Opgelet, het is een soort van gratuite uit-elkaar-haal-oefening, maar we doen dat de hele tijd in het labo. OK Dus collaboratief werk, of het nu vlakbij is of ver weg en gescheiden, is altijd belangrijk. En nogmaals, die dingen moeten in ruimtelijke context gedaan worden.

Om te eindigen wil ik jullie een glimp laten zien die ons terugvoert naar de wereld van de beelden. Dit systeem heet TAMPER en het biedt een fantasierijke kijk op wat de toekomst zou kunnen zijn van editing en mediamanimpulatiesystemen. Wij van Oblong geloven dat de media in een veel fijnkorreliger vorm toegankelijk moet zijn. We hebben dus een groot aantal films die hierin zitten. Laten we er enkele elementen uithalen. We kunnen erdoor zippen, dat is een mogelijkheid. We kunnen elementen uit de voorkant halen, waarna ze tot leven komen en ze hier op de tafel leggen. We gaan naar Jacques Tati hier en nemen onze blauwe vriend beet en leggen hem ook op de tafel. Misschien moeten we er meer dan één nemen. En waarschijnlijk hebben we een cowboy nodig om eerlijk te zijn. . OK, laten we die nemen. . Zie je, cowboys en mensen uit Franse farce passen niet goed samen, en het systeem weet dat.

Laat me besluiten met nog één gedachte, namelijk dat één van de grooste schrijvers uit het Engelse taalgebied van de laatste dertig jaar suggereerde grote kunst altijd een gave is. En hij had het niet over de vraag of de roman 24.95 kostte, of de vraag of je 70 miljoen moet neertellen om de gestolen Vermeer te komen. Hij heeft het over de omstandigheden van de creatie en van zijn bestaan. Ik denk dat het tijd is dat we dezelfde vraag stellen voor technologie. Technologie is in staat om uitdrukking te geven aan en doordrenkt te worden met een zekere generositeit, en dat moeten we ervan eisen. Voor een deel van dit type van technologie is de basis een combinatie van design, die van cruciaal belang is. We kunnen geen vooruitgang meer hebben in technologie tenzij design er van bij het begin deel van uitmaakt. Hetzelfde geldt voor effectiviteit en agency. Wij, als mensen, schepsels die scheppen, moeten ervoor zorgen dat onze machines ons bij die taak helpen en naar dat beeld gebouwd worden.

Daarmee besluit ik. Dankuwel.

.

Chris Anderson: Om de evidente vraag te stellen - dit komt eigenlijk van Bill gates - Wanneer? (John Underkoffler: Wanneer?) CA: Wanneer echt? Wanneer voor ons, niet alleen in een labo en op een podium? Kan dit voor iedereen zijn of is het alleen voor bedrijven en filmproducenten?

JU: Nee, het moet voor alle mensen zijn. Dat is ons doel. We zullen niet geslaagd zijn als we die volgende grote stap niet zetten. Het duurt al 25 jaar. Kan er echt maar één interface zijn? Kan niet.

CA: Maar betekent het dat je thuis, op je bureau, projectors en camera's nodig hebt? Hoe kan dat werken?

JU: Nee, deze dingen zullen worden ingebouwd in elk scherm. Het zal in de architectuur ingebouwd zijn. De handschoenen verdwijnen, dat is een kwestie van maanden of jaren. Dit is onvermijdelijk.

CA: Dus volgens jou kunnen we over vijf jaar deze dingen kopen als een onderdeel van een standaard computer interface?

JU: Ik denk dat als je over vijf jaar een computer koopt, je dit zult krijgen.

CA: Dat is cool. . De wereld maakt er een gewoonte van ons te verbazen met de manier waarop deze dingen worden gebruikt. Wat is volgens jou de eerste killer app hiervoor?

JU: Dat is een goede vraag, we stellen ze ons elke dag. Op dit ogenblik gebruiken onze early adopter-klanten - de systemen zijn geïnstalleerd in de echte wereld - deze zaken voor grote, zware problemen met veel data. Dus of het nu logistiek is in de bevoorradingsketting of de ontginning van aardgas, financiële diensten, geneesmiddelen, bioinformatica, dit zijn vandaag de topics, maar dat is geen killer app. Ik begrijp wat je vraagt.

CA: Komaan, komaan, vechtsporten, games. Komaan. . John, bedankt om science fiction tot leven te brengen.

JU: Het was mij een waar genoegen. Bedankt allemaal.

.