Jeff Han demonstreert zijn baanbrekende aanraakscherm

Ik ben heel erg blij om hier vandaag te zijn. Ik toon jullie zo meteen iets dat net uit het laboratorium is gekomen, letterlijk, en ik ben erg blij dat jullie bij de eersten zullen zijn die het persoonlijk zullen kunnen zien, want volgens mij zal dit echt de manier waarop wij met machines interageren, grondig veranderen.

Dit is een videoprojectie-ontwerptafel. Ze is ongeveer 91 cm breed en is uitgerust met een multi-aanraaksensor. Normale aanraaksensoren, bijvoorbeeld op een kiosk of op een interactief bord, kunnen maar één contactpunt tegelijk registreren. Dit ding laat je meerdere punten tegelijk toe. Ik kan mijn beide handen gebruiken. Ik kan een akkoord spelen. Ik kan naar boven gaan en alle 10 vingers gebruiken, als ik wil. Op deze manier.

Multi-aanraaksensoren zijn niet helemaal nieuw. Mensen als Bill Buxton speelden er al mee in de jaren '80. Maar mijn aanpak hier heeft een hoge resolutie, een lage kost, en -- het belangrijkste -- een hoge schaalbaarheid. De technologie is hier dus niet het spannendste, afgezien van haar nieuwe toegankelijkheid. Wat interessant is, zijn de toepassingsmogelijkheden en de interfaces die je er bovenop kan bouwen. Even kijken.

Hier hebben we bijvoorbeeld een lavalamptoepassing. Je ziet dat ik mijn twee handen kan gebruiken om samen te knijpen en de blobs te verzamelen. Ik kan hier hitte in het systeem injecteren, of ik kan het uiteentrekken met twee vingers. Het is volledig intuïtief. Er is geen handleiding. De interface verdwijnt zowat. Dit begon als een soort screensaver gemaakt door één van mijn doctoraatsstudenten, Ilya Rosenberg. Maar volgens mij komt zijn ware aard hier boven.

Het geweldige aan een multi-aanraaksensor is dat ik dat hier kan doen met zoveel vingers, maar multi-aanraak is inherent natuurlijk ook multi-gebruiker. Chris zou dus hier kunnen interageren met een ander deel van Lava, terwijl ik hier dingen uitprobeer. Stel je een nieuw soort beeldhouwgereedschap voor, waarbij ik iets voorverwarm, het kneedbaar maak, en het dan laat afkoelen en hard worden in een bepaalde staat. Google zou dit ding in zijn lobby moeten zetten. (Gelach)

Ik toon je hier een wat concreter voorbeeld, terwijl dit ding geladen wordt. Dit is een toepassing voor een lichtbak van een fotograaf. Ik kan mijn beide handen gebruiken om te interageren en foto's te verplaatsen. Nog leuker: met twee vingers kan ik een foto beetnemen en ze heel eenvoudig groter maken, zo. Ik kan zonder moeite pannen, inzoomen en roteren. Ik kan dat ruwweg doen met mijn twee handen, of met een combinatie van twee vingers van elk van mijn handen. Als ik het canvas beetneem, kan ik hetzelfde doen -- het oprekken. Ik kan dit tegelijk doen: ik hou dit naar beneden en trek aan een andere, waardoor ik dit oprek.

De interface verdwijnt ook hier. Er is geen handleiding. Dit is precies wat je verwacht, vooral als je nooit eerder met een computer hebt gewerkt. Met initiatieven als de laptop van 100 dollar krimp ik zowat ineen bij de idee dat we een hele nieuwe generatie mensen met computers vertrouwd zullen maken via de standaard-muis-en-windows-interface. Volgens mij is dit echt de manier waarop we met machines moeten intereageren, van nu af aan. (Applaus) Ik kan er natuurlijk een toetsenbord bijhalen. En ik kan dat meebrengen, het daar zetten. Dit is een soort standaardtoetsenbord, maar ik kan de schaal aanpassen aan mijn handen. Dat is erg belangrijk, want heden ten dage is er geen enkele reden waarom we ons aan een fysiek toestel zouden moeten aanpassen. Daar komen slechte dingen van, zoals RSI. We hebben heden ten dage zoveel technologie dat die interfaces zich aan ons zouden moeten aanpassen. Vandaag gaat er zo weinig inspanning naar de verbetering van hoe we met interfaces omgaan. Dit toetsenbord is waarschijnlijk echt een stap in de verkeerde richting. Beeld je in dat in de toekomst, naarmate we deze technologie verder ontwikkelen, een toetsenbord automatisch wegdrijft als je hand zich verwijdert, en echt intelligent anticipeert welke toets je wil aanslaan met je vinger. Is dit niet geweldig?

Publiek: Waar is je laboratorium?

Jeff Han: Ik ben onderzoeker in NYU in New York.

Hier is een ander soort toepassing. Ik kan kleine pluisballetjes maken. Het onthoudt welke bewegingen ik maak. Ik kan het met al mijn handen doen. Je merkt dat het drukgevoelig is. Maar wat geweldig is: ik heb je die beweging met twee vingers getoond waardoor je supersnel kan inzoomen. Omdat je niet moet overschakelen naar een handgereedschap, of naar het vergrootglas, kan je continu dingen maken op verschillende schalen, allemaal tegelijk. Ik kan hier grote dingen maken, maar ik kan teruggaan naar de start, heel snel, en daar kan ik nog kleinere dingen maken.

Dit zal heel belangrijk zijn als we dingen als we bijvoorbeeld beginnen met datavisualisatie. We hebben allemaal genoten van de toespraak van Hans Rosling. Hij heeft benadrukt wat ik ook al lang aan het bedenken ben: we hebben hopen geweldige gegevens, maar om één of andere reden liggen die daar maar. We vragen ze niet echt op. Eén van de redenen is volgens mij dat grafische weergave en visualisatie en conclusie-ondersteuning zal wel helpen, maar het zal belangrijker worden om betere interfaces te hebben, om dieper te kunnen graven in dit soort gegevens, terwijl je daar nog over het grotere plaatje nadenkt.

Ik toon jullie nog een app. Dit heet WorldWind. Het is van NASA. We kennen allemaal Google Earth. Dit is een open-source-versie daarvan. Er zijn plug-ins waarmee je verschillende sets gegevens kan opladen die NASA door de jaren heen heeft verzameld. Zoals je ziet, kan ik dezelfde beweging van twee vingers gebruiken om naadloos af te dalen en binnen te gaan. Nogmaals, er is geen interface. Iedereen kan hierlangs naar binnen -- en het doet wat je verwacht. Er is geen interface. De interface verdwijnt gewoon. Ik kan overschakelen naar andere voorstellingen van gegevens. Dat is zo leuk aan deze app. Kijk maar. NASA is echt cool. Ze hebben hyperspectrale beelden met valse kleuren. Prima om vegetatief gebruik te bepalen. Laten we eens terugkeren.

Het geweldige aan kaarttoepassingen -- het is niet echt 2D, het is een soort 3D. Met een multipunt-interface kan je een gebaar als dit doen -- je kan het zo kantelen. Het is niet zomaar een soort 2D-panning met beweging. De beweging die we hebben ontwikkeld, bestaat eruit dat je twee vingers neerzet -- dat bepaalt de as waarmee je optilt -- en je kan het zo op en neer kantelen. Dat hebben we gewoon ter plekke bedacht. Het is waarschijnlijk niet ideaal. Maar er zijn zoveel interessante dingen die je met deze interface kan doen. Het is zo leuk om mee te spelen. (Gelach)

Het laatste dat ik jullie wil tonen, is dit. We kunnen allemaal vele ontspanningsapps bedenken voor dit ding. Ik ben meer geïnteresseerd in de creatieve toepassingen hiervan. Dit is een eenvoudige toepassing. Ik teken een curve. Als ik ze sluit, wordt het een personage. Het leuke is dat ik controlepunten kan toevoegen; Vervolgens kan ik ze met mijn twee vingers tegelijk manipuleren. Kijk wat het doet. Het is een soort poppenspel, waarbij ik al mijn vingers kan gebruiken om te tekenen.

Hieronder komt er een hoop wiskunde bij kijken om te zorgen dit net goed wordt aangestuurd en goed werkt. Deze techniek waarbij je hier een net kan manipuleren met verschillende controlepunten, dat is echt het neusje van de zalm. Het werd pas vorig jaar op Siggraph gelanceerd. Het is een prachtig voorbeeld van het soort onderzoek waar ik van hou: al die computerkracht om te zorgen dat dingen de juiste dingen doen, intuïtieve dingen, precies wat je verwacht.

Onderzoek naar multi-aanraak-interactie is momenteel heel actief in HCI. Ik ben niet de enige die het doet, er zijn veel andere mensen mee bezig. Deze technologie zal nog meer mensen toelaten tot het domein, en ik kijk ernaar uit om met jullie allemaal in dialoog te gaan de komende dagen, om te bekijken wat dit voor jullie domein kan betekenen. Hartelijk dank. (Applaus)