David Merrill demonstriert Siftables, die denkenden Bauklötze

Ich möchte damit beginnen Sie zu bitten, an die Zeit Ihrer Kindheit zurückzudenken, als Sie mit Bauklötzen spielten. Während Sie erkannten, wie man die Hände ausstreckt und zugreift, die Klötze aufnimmt und bewegt, lernten Sie tatsächlich, zu überlegen und Probleme durch das Verstehen und Verändern räumlicher Zusammenhänge zu lösen. Das räumliche Denken ist eng damit verbunden, wie wir einen Großteil unserer Umgebung verstehen.

Als Informatiker - inspiriert von der Art unserer Interaktion mit realen Objekten - zusammen mit meinem Fachberater Patti und meinem Kollegen Jeevan Kalanithi, begann ich mich zu wundern: Was wäre, wenn wir Computer nutzen würden, die anstelle eines Maus-Zeigers, der sich wie eine digitale Fingerspitze auf einer flachen Arbeitsfläche bewegt... ... Was wäre, wenn wir mit beiden Händen eingreifen könnten und Daten physisch ergreifen und sie so anordnen könnten, wie wir es wollen? Diese Frage war so ergreifend, dass wir uns zur Erforschung der Antwort entschieden und Siftables entwickelten.

Kurz gesagt, ein Siftable ist ein interaktiver Computer in der Größe eines Kekses. Sie können mit der Hand bewegt werden, sie können sich gegenseitig wahrnehmen, sie können ihre Bewegungen erfassen und sie haben einen Bildschirm und einen Funkempfänger. Viel wichtiger: Sind sind körperlich, weshalb man sie wie Bauklötze lediglich durch das Ausstrecken der Hände und Zugreifen bewegen kann. Und die Siftables sind ein Beispiel einer neuen Generation von Hilfsmitteln zur Manipulation digitaler Daten. Und wenn diese Hilfsmittel körperlicher werden und ein Bewusstsein für ihre Bewegungen entwickeln, sich gegenseitig erkennen und die Feinheiten unseres Umgangs mit ihnen wahrnehmen, dann können wir mit der Erforschung neuer und unterhaltsamer Interaktionsarten beginnen. Ich fange mit einigen einfachen Beispielen an.

Dieser Siftable ist für die Videowiedergabe konfiguriert und wenn Ich ihn in eine Richtung kippe, wird das Video vorwärts abgespielt; wenn ich ihn in die andere Richtung kippe, läuft es rückwärts. Und diese interaktiven Portraits nehmen sich gegenseitig wahr. Wenn ich sie also nebeneinander lege, weckt das ihr Interesse. Wenn sie voneinader umgeben sind, bemerken sie das auch und können etwas nervös werden. Und sie fühlen ebenso ihre Bewegungen und Neigung.

Eine interessante Folge der Interaktionen, die wir zu erkennen begannen, war, dass wir alltägliche Gesten auf Daten anwenden könnten, wie etwa Farben so zu schütten, wie man dies mit Flüssigkeiten tut. In diesem Fall haben wir drei Siftables als Farbtöpfe konfiguriert und ich kann sie nutzen, um Farbe in den in der Mitte zu gießen, wo sie dann vermischt werden. Wenn wir es übertreiben, können wir ein wenig zurückschütten.

Es gibt außerdem auch einige nette Möglichkeiten in der Bildung wie Sprachen, Mathematik oder Logikspiele, wo wir den Leuten die Möglichkeit des schnellen Ausprobierens geben und die Ergebnisse sofort sehen wollen. Hier bin ich... (Applaus) Das ist eine Fibonacci-Folge, die ich mit einem einfachen Gleichungsprogramm erstelle.

Das ist ein Spiel mit Wörtern, das eine Art Mischung aus Scrabble und Boggle ist. Grundsätzlich bekommt man jede Runde auf jeden Siftable zufällig zugewiesene Buchstaben und während man versucht, Wörter zu bilden, werden diese über ein Wörterbuch geprüft. Dann, nach ungefähr 30 Sekunden, wird wieder gemischt und man hat eine neue Buchstabenkombination und neue Möglichkeiten auszuprobieren.

(Applaus) Vielen Dank. (Applaus)

Das sind einige Kinder die auf einem Ausflug zum Media Lab kamen. Ich konnte sie dazu bewegen, es auszuprobieren und habe ein Video davon aufgenommen. Sie haben es wirklich geliebt. Ein interessanter Umstand bei dieser Art von Anwendungen ist, dass man den Leuten nicht viele Anweisungen geben muss. Alles was man sagen muss ist "Bildet Wörter" und sie wissen genau, was zu tun ist.

Hier sind noch ein paar Leute, die es testen. Das ist unser jüngster Beta-Tester dort unten rechts. Es stellte sich heraus, dass er die Siftables nur stapeln wollte. Also für ihn waren sie nur Bauklötze. Dies ist eine interaktive Trickfilmanwendung. Wir wollten ein Lernmittel für Sprachlerner entwickeln. Das ist Felix. Er kann neue Charaktere in die Szene bringen, indem er den Siftable vom Tisch aufhebt, der diese Figur zeigt. Hier lässt er die Sonne aufgehen.

(Video: Die Sonne geht auf)

Jetzt holt er einen Traktor in die Szene.

(Video: Der orangene Traktor) Gute Arbeit! Ja!

Indem er die Siftables schüttelt und sie nebeneinander legt kann er die Charaktere interagieren lassen...

(Video: Wau!)

...seine eigene Geschichte erfinden.

(Video: Hallo!)

Es ist eine Geschichte mit offenem Ende und er kann entscheiden, wie sie sich entwickelt.

(Video: Fliegende Katze)

Das letzte Beispiel, für das ich heute Zeit habe, es zu zeigen, ist ein Musik-Sequencer für Live-Auftritte, das wir kürzlich entwickelt haben und in dem Siftables als Töne, wie Führungsstimme, Bass und Schlagzeug agieren. Jedes hat vier verschiedene Variationen; Man kann auswählen, welche man nutzen möchte. Und man kann diese Töne in die Sequenz einspeisen, die man wiederum in beliebigen Mustern anordnen kann. Und man speist sie ein, indem man einfach einen Ton-Siftable an einen Sequenz-Siftable hält. Dort sind Effekte, die man live verändern kann, wie z.B. Hall und Filter. Man verbindet ihn mit einem bestimmten Ton und neigt ihn dann zum Einstellen. Und dann noch übergeordnete Effekte wie Tempo und Lautstärke, die man auf die gesamte Sequenz anwendet. Also schauen wir mal.

(Video: ♫ Musik ♫)

Wir beginnen, in dem wir die Führungsstimme in zwei Sequenz-Siftable einspeisen und diese in einer Reihe anordnen, sie erweitern und ein bisschen mehr der Stimme hinzufügen. Jetzt füge ich einen Bass hinzu.

(Video: ♫ Musik ♫) Jetzt werde ich noch etwas Schlagzeug dazu tun. (Video: ♫ Musik ♫)

Und jetzt verbinde ich den Filter mit dem Schlagzeug, damit ich den Effekt live steuern kann.

(Video: ♫ Musik ♫)

Ich kann die ganze Sequenz beschleunigen, indem ich das Tempo in die eine oder andere Richtung kippe.

(Video: ♫ Musik ♫)

Und jetzt verbinde ich den Filter noch mit dem Bass; für etwas mehr Ausdruck.

(Video: ♫ Musik ♫)

Ich kann die Sequenz während sie abläuft umstellen. Dadurch muss ich sie nicht im Vorfeld planen, sondern kann improvisieren; sie währenddessen verlängern oder verkürzen. Und abschließend kann ich die ganze Sequenz ausblenden, indem ich den Lautstärke-Siftable nach links neige.

(Applaus) Vielen Dank.

Wie Sie also sehen können, liegt meine Begeisterung darin, neue Mensch-Computer-Schnittstellen zu entwickeln, die besser zu dem passen, wie unsere Gehirne und Körper arbeiten. Und heute hatte ich Zeit, Ihnen einen Teil dieser neuen Design-Welt und einige der Möglichkeiten dessen zu zeigen, woran wir in unserem Labor arbeiten. Der Gedanke, den ich Ihnen mit auf den Weg geben möchte, ist dass wir an der Schwelle zu dieser neuen Generation von Werzeugen zur Interaktion mit digitalen Medien stehen, die Informationen in unsere Welt bringen, die unseren Anforderungen entspricht. Vielen Dank, ich freue mich auf die Gespräche mit Ihnen allen!

(Applaus)