John Underkoffler zeigt die Zukunft der Bedienoberfläche

Es ist nun 25 - 26 Jahre her seit der Macintosh eingeführt wurde, welches ein erstaunlich bahnbrechendes Ereignis in der Geschichte des Mensch-Maschinen Interfaces und im allgemeinen Bereich der Computer war. Es hat die Ansicht der Menschheit über das Rechnen mit dem Computer, Computer im Allgemeinen, und wie wir sie benutzten und wie viele Menschen sie benutzen konnten fundamental verändert. Es war in der Tat so eine radikale Veränderung, dass das anfängliche Macintosh Entwicklungs-Team in '82, '83, '84, ein komplettes Betriebssystem von Grund auf neu entwickeln musste. Hier ist ein interessanter Punkt: und es ist eine Lehre die seitdem, wie ich glaube, vergessen wurde oder verloren gegangen ist. Und zwar ist das Betriebssystem die Bedienoberfläche. Die Bedienoberfläche ist das Betriebssystem. Es ist wie das Land und der König in "Arthur"; man kann sie nicht voneinander trennen, sie sind Eins. Ein neues Betriebssystem zu schreiben war keine kapriziöse Angelegenheit. Es ging nicht nur darum ein paar Grafikroutinen zu optimieren. Es gab keine Grafikroutinen. Es gab keine Maustreiber. Es war also eine Notwendigkeit.

Aber in dem Viertel Jahrhundert seitdem, haben wir alle gesehen wie die fundamentalen, grundlegenden Technologien ins Rasen gekommen sind. Speicherkapazität und Festplattenkapazität hat sich um ein Zehntausend- bis eine Million-faches erhöht. Das gleiche gilt für die Geschwindigkeiten der Prozessoren. Netzwerke, es gab überhaupt keine Netzwerke zur Zeit der Einführung des Macintosh's. Und das ist der hervorstechendste Aspekt geworden wie wir mit Computern leben. Und zur Grafik von heute: Für $87,97 bekommen Sie mehr Grafik-Rechenleistung als Sie für eine Million von SGI vor nur 10 Jahren bekommen hätten. Wir haben also diesen wunderbaren Fortschritt. Auf der anderen Seite haben wir das Internet und zunehmend "cloud computing", was fantastisch ist, aber so wie eine Benutzeroberfläche fundamental ist, ist es auch eine Ablenkung. Wir haben also vergessen neue Benutzeroberflächen zu erfinden. Sicherlich, wir haben in den letzten Jahren eine Menge Veränderungen in dieser Hinsicht gesehen. Und die Menschen werden sich dem auch langsam klar. Was passiert also als Nächstes? Was jetzt?

Das Problem, wie wir es sehen, hat mit einem Wort zu tun: "Raum" oder einem Ausdruck: "Geometrie der realen Welt." Computer und die Programmiersprachen in denen wir mit ihnen kommunizieren, in denen wir ihnen lehren, sind schrecklich unverständlich wenn es um Raum geht. Sie verstehen die Geometrie der realen Welt nicht. Das ist merkwürdig denn wir alle leben in ihr. Sie verstehen auch nicht die Zeit, aber das ist ein anderes Thema.

Was passiert also wenn Sie anfangen ihnen "Raum" zu erklären? Ein Ergebnis könnte so etwas wie das "helle Zimmer" sein. Das "helle Zimmer" ist ein System in dem angenommen wird, dass Eingangs- und Ausgangsraum miteinander in Verbindung stehen. Dies ist eine merkwürdig simple und dennoch unerforschte Idee, nicht wahr? Wenn Sie eine Maus benutzen ist Ihre Hand hier unten auf dem Mauspad. Es ist nicht einmal auf der selben Ebene wie das was sie bedienen. Die Pixel sind oben auf dem Bildschirm. Hier ist ein Raum in dem alle Wände, der Boden, die Decke, Haustiere, Pflanzen, alles was darin war, nicht nur in der Lage sind dargestellt zu werden sondern auch wahrnehmen können. Und das bedeutet, dass Eingabe und Ausgabe im selben Raum stattfinden was solche Sachen ermöglicht. Das ist digitaler Inhalt in einem realen Behälter. Das Ergebnis ist dasselbe wie in realen Objekten in realen Behältern. Was Sie hinein tun kommt auch wieder heraus. Dieses kleine Design-Experiment war ein kleines Büro und konnte auch einige andere Tricks. Wenn Sie ihm ein Schachbrett gaben, versuchte es herauszufinden was Sie damit beabsichtigten. Und wenn sie nichts zu tun hatten, ist den Schachfiguren langweilig geworden und sie sind weg gehüpft.

Die Akademiker die diese Arbeit betreuen dachten das sei zu unseriös, also haben wir ernstere Anwendungen entwickelt wie diesen Optik-Prototypen Entwicklungstisch bei dem die Kappe einer Zahnpastatube auf einer Pappschachtel zum Laser wird. Die Strahlteiler und Linsen werden von realen Objekten repräsentiert und das System projiziert den Weg des Laserstrahls. Sie haben hier eine Benutzeroberfläche die keine Benutzeroberfläche hat. Sie interagieren damit wie Sie mit der realen Welt interagieren, und zwar mit Ihren Händen. Auf die gleiche Weise ist hier ein Windtunnel mit digitalem Wind der von rechts nach links strömt. Das ist nicht sehr außergewöhnlich; wir haben nicht die Mathematik dafür erfunden, aber wenn man das auf einem CRT oder Flachbildschirm darstellt würde es sinnlos sein irgendeinen Gegenstand daran zu halten, also einen realen Gegenstand. Hier verschmilzt die reale Welt mit der Simulation.

Und schließlich, um mal richtig Gas zu geben: Hier ist ein System das sich Urp nennt, das steht für "urban planners" - Stadtplaner. Hiermit geben wir Architekten und Stadtplanern die Modelle die wir konfisziert haben, als wir darauf bestanden haben das sie CAD Systeme benutzen, zurück. Und wir bringen die Maschine dazu sie auf halbem Wege zu treffen. Wie Sie sehen projiziert es digitale Schatten. Und wenn sie Instrumente wie diese Uhr himzufügen, dann können Sie die Position der Sonne im Himmel kontrollieren. Das sind die Schatten um 8:00 Uhr, um 9:00 Uhr werden sie etwas kürzer. Da sehen Sie die Sonne in Bewegung. Kurze Schatten am Mittag und so weiter. Wir haben eine Reihe dieser Programme entwickelt. Wir haben Schattensimulationen von Städten die Kinder benutzen können, obwohl sie nichts über Stadtplanung wissen, um ein Gebäude zu bewegen greifen sie einfach danach und bewegen es. Das Material der Gebäude kann auch geändert werden so das es Licht in alle Richtungen ausstrahlt. Werden Spaziergänger und Autofahrer auf den Straßen geblendet? Gebiete können auch festgelegt werden um Gebäude und Straßen miteinander zu verbinden. Besteht das Risiko von der Baubehörde verklagt zu werden? Und so weiter. Nun, wenn Ihnen diese Ideen bekannt vorkommen oder vielleicht sogar veraltet, dass ist gut so, sie sollten Ihnen bekannt sein.

Diese Arbeiten sind 15 Jahre alt. Dies wurde vom MIT und Media Lab unter der hervorragenden Aufsicht von Prof. Hiroshi Ishii, Direktor der Tangible Media Group, getätigt. Und diese Arbeiten wurden gesehen von Alex McDowell, einer der legendärsten Production Designer der Welt. Alex arbeitete an einem kleinen, etwas obskuren, unabhängigen Kunstfilm mit dem Namen "Minority Report" für Steven Spielberg, und lud uns ein das Interface zu entwickeln das in dem Film benutzt werden soll. Das Gute daran war das Alex so großen Wert auf Glaubhaftigkeit legte, so großen Wert darauf, dass das mutmaßliche Jahr 2054 welches wir in dem Film darstellten, plausibel wirkt, das er uns erlaubte diese Entwicklungsarbeit als Forschungsprojekt zu betreiben. Und das Ergebnis ist von erfreulich langer Wirkung. Leute nehmen immer noch Bezug auf die Szenen von "Minority Report" wenn sie von Interface-Design sprechen. Und das führte wiederum dazu, dass wir die Ideen zu dem entwickeln was wir glauben, ist die unausweichliche Zukunft des Mensch-Maschinen-Interface's: Wir nennen es die räumliche Bedienumgebung.

Hier haben wir also einige Bilder. Und mit einer Hand können wir sechs Befehle ausführen, sechs Möglichkeiten der Navigation. Und es macht Spaß durch Herr Beckett's Auge zu fliegen. Und wieder zurückzukommen durch einen beängstigenden Orang-Utan. Und das ist alles gut und schön. Lasst uns mal etwas schwierigeres machen. Hier haben wir einige verschieden Bilder, wir können um sie umher fliegen. Navigation ist das fundametale Problem. Man muss in der Lage sein, in 3D zu navigieren. Vieles von dem wofür wir Computer brauchen hat räumlichen Ursprung. Und das was nicht mit Raum zu tun hat, kann oft in räumlicher Form dargestellt werden, so dass unser Gehirn es besser verstehen kann. Wir können diese Dinge in unterschiedlicher Weise anordnen. Wir können alles so ausbreiten. Wir können es so anordnen.

Und natürlich geht es nicht nur um Navigation sondern auch um Manipulation. Wenn wir etwas nicht mögen oder wir besonders an Ernst Haeckel's wissenschaftlichen Falsifikationen interessiert sind, können wir sie so herausziehen. Und dann wenn es zur Analyse geht, können wir etwas zurück gehen und um eine andere Anordnung beten. Lasst uns etwas näher heranfahren und herum fliegen. Das ist eine andere Art die Dinge zu betrachten. Wenn Sie eher analytisch veranlagt sind dann wollen Sie das vielleicht als farbiges Histogramm sehen. Jetzt haben wir die Dinge nach Farben sortiert. Wenn wir Dinge auswählen wollen, 3D, Raum, dass wir Handbewegungen im Raum verfolgen ist jetzt sehr wichtig, denn wir können hineingreifen, nicht in 2D, nicht in künstlichem 2D, sondern in echtem 3D. Hier sind einige Auswahlebenen. Wir führen diese boolesche Operation durch weil wir Gelb und Tapire auf grünem Grass mögen.

Wie kann man das nun ernsthaft anwenden? Hier ist ein Logistik-Systemz ein kleines Teil von dem woran wir gerade arbeiten. Es gibt eine Menge verschiedener Elemente. Und es ist sehr wichtig, Daten aus traditioneller Tabellenform mit dreidimensionalen und raumbezogenen Daten zu kombinieren. Hier ist ein vertrauter Ort. Wir bringen das hier herüber für einen Moment. Wählen vielleicht einige davon aus. Und erzeugen dieses Diagramm. Und nun sollten wir in der Lage sein hier hinein zu fliegen und uns das näher anzuschauen. Das sind logistische Elemente, die in den USA verstreut sind.

Die dreidimensionale Bedienung und die Verbindung von der Berechnung auf dem Computer und dem Raum erlaubt es uns die bedauernswerte Hürde der Eins zu Eins Kopplung zwischen Mensch und Computer zu überwinden. Das ist die alte Methode; das alte Mantra, eine Maschine, ein Mensch, eine Maus, ein Bildschirm. Nun, das reicht nicht mehr. In der realen Welt, wo Menschen kollaborieren; Es gibt Leute die zusammen arbeiten müssen. Und wir haben viele verschiedene Bildschirme. Und vielleicht wollen wir diese verschiedenen Bilder anscheuen. Vielleicht wollen wir um Hilfe bitten.

Der Entwickler dieses neuen Zeigegerätes sitzt dort drüben, ich kann es von hier nach da bewegen. Die Computer sind nicht verbunden, oder? Die Berechnung geht über Raum und Netzwerk. Ich lege es dort drüben ab weil ich eine Frage an Paul habe. Paul ist der Entwickler dieses Stabes und vielleicht ist es am einfachsten für ihn herüber zu kommen und mir persönlich zu sagen was los ist. Ich räume einige von diesen aus dem Weg. Lasst uns das auseinander ziehen: Ich bringe es in Explosionsansicht. Kevin, kannst du mir helfen? Ich versuche die Hauptplatine zu finden. Dies ist eine zwecklose Aufgabe, aber wir machen das im Labor andauernd. OK. Wir arbeiten zusammen, ob nebeneinander oder über Entfernung, ist immer wichtig. Und nochmal, diese Dinge müssen im Kontext des Raumes unternommen werden.

Und letztlich würde ich mich gerne mit einem kleinen Blick der uns zurückführt in die Welt der Symbolik von Ihnen verabschieden. Dieses System heißt TAMPER, es ist eine etwas seltsame Ansicht der möglichen Zukunft der Bearbeitung und Medienmanipulation. Wir bei Oblong glauben das Medien in feinkörnigerer Form zugänglich sein sollten. Wir haben eine große Anzahl von Filmen hier drin. Lasst uns einige herausnehmen. Wir können durch sie hindurch fliegen, das ist eine Möglichkeit. Wir können die vorderen Elemente nehmen, wodurch sie abspielen und zum Leben erwecken, und sie hier auf den Tisch legen. Wir gehen herüber zu Jacques Tati hier und nehmen unseren blauen Freund und legen ihn auch auf den Tisch. Vielleicht brauchen wir mehr als einen. Und wahrscheinlich brauchen wir, nun, wahrscheinlich brauchen wir einen Cowboy um ehrlich zu sein. (Lachen) Ja, lasst uns den nehmen. (Lachen) Sie sehen, Cowboys und französische Burleske Menschen passen nicht zusammen, und das System weiß das.

Ich verabschiede mich mit einem letzten Gedanken, und das ist folgender: einer der größten Schriftsteller der englischen Literatur der letzten drei Jahrzehnte hat behauptet das großartige Kunst immer eine Gabe ist. Und er meinte nicht das der Roman 24.95 kostet, oder sie 70 Millionen zahlen müssen um den gestohlenen Vermeer zu kaufen; er meinte die Umstände seiner Entstehung und seiner Existenz. Und ich glaube es ist an der Zeit das wir dasselbe von Technologie verlangen. Technologie ist in der Lage eine gewisse Freizügigkeit auszudrücken und von ihr inspiriert zu sein, und das sollten wir verlangen. Manche dieser Art von Technologie hat eine Kombination von Design im Mittelpunkt, was extrem wichtig ist. Wir können keine weiteren technischen Fortschritte machen wenn Design nicht von Anfang an integraler Bestandteil ist. Das gleiche gilt für Wirksamkeit und Wirkung. Wir, als Menschen, sind diejenigen die Dinge gestalten und wir sollten sicherstellen, dass unsere Maschinen uns dabei helfen und darauf aufbauen.

Damit verabschiede ich mich. Danke

(Applaus)

Chris Anderson: Um also die offensichtliche Frage zu stellen -- das kommt übrigens von Bill Gates -- Wann? (John Underkoffler: Wann?) CA: Wann wird es Wirklichkeit? Wann für uns, nicht bloß im Labor oder auf der Bühne? Kann es das für jeden geben oder ist das nur etwas für Unternehmen und Filmproduzenten?

JU: Nein, das muss für jeden sein. Das ist unser gänzliches Ziel. Wir waren nicht erfolgreich bis wir diesen großen Schritt gemacht haben. Ich meine, es ist so seit 25 Jahren. Kann es wirklich nur ein Interface geben? Nein.

CA: Aber heißt das, an unserem Schreibtisch bei uns zu Hause, brauchen wir Projektoren oder Kameras? Sie wissen schon, wie kann das funktionieren?

JU: Nein, diese Dinge werden in dem Rahmen jedes Displays eingebaut sein. Es wird Teil der Architektur sein. Die Handschuhe wird es in einigen Monaten oder Jahren schon nicht mehr geben. Das ist das unabwendbare daran.

CA: Also, Sie meinen in 5 Jahren wird man das als Teil einer normalen Computer Bedienoberfläche kaufen können?

JU: Ich denke, wenn man in 5 Jahren einen Computer kauft, wird man das bekommen.

CA: Das ist cool. (Applaus) Die Welt hat die Angewohnheit uns in der Anwendung dieser Dinge zu überraschen. Was denken Sie, was wird die erste Killer-Anwendung hierfür?

JU: Das ist eine gute Frage, und das fragen wir uns jeden Tag. Im Moment nutzen es unsere Kunden die das Produkt früh angenommen haben -- und diese Systeme werden in der realen Welt genutzt -- für große Daten-intensive Probleme. Ob es also logistisch oder Versorgungskettenmanagement oder Naturgas und Ressourcengewinnung, Finanzservice, Pharmazie, Bioinformatik, das sind im Moment die Anwednungsgebiete, aber das ist nicht die Killer-Anwendung. Und wenn ich das richtig verstehe, ist das was Sie gefragt haben.

CA: Kommen Sie schon. Kampfkunst, Spiele. Kommen Sie. (Lachen) John, danke das Sie Science-Fiction zur Realität machen.

JU: Es war mir eine große Freude. Ich danke Ihnen allen.

(Applaus)