Pranav Mistry: De spannende mogelijkheden van de SixthSense-technologie

Wij groeiden op in interactie met de fysieke voorwerpen rondom ons. Er zijn er heel veel, we gebruiken ze elke dag. Anders dan de meeste van onze computers, zijn ze leuk om te gebruiken. Als je over voorwerpen praat, dan horen daar automatisch ook gebaren bij: hoe we deze voorwerpen hanteren, hoe we ze in ons dagelijks leven gebruiken. We gebruiken gebaren niet alleen om met voorwerpen te interageren, maar ook om met elkaar te interageren. Een "Namaste!"-gebaar, misschien, om iemand te respecteren. Of misschien -- in India hoef ik kinderen niet te leren dat dit "4 runs" betekent in cricket. Het is deel van ons alledaags leren.

Ik heb dus veel belangstelling vanaf het begin, voor hoe -- hoe onze kennis van alledaagse voorwerpen en gebaren, en hoe we deze voorwerpen gebruiken, kan bijdragen tot onze interactie met de digitale wereld. Liever dan toetsenbord en muis te gebruiken, waarom kan ik mijn computer niet gebruiken zoals ik in de fysieke manier interageer?

Ik begon deze verkenningstocht acht jaar geleden, en ik startte letterlijk met een muis op mijn bureau. Ik gebruikte ze niet voor mijn computer, maar opende ze. De meesten van jullie weten dat de muis toen een balletje had vanbinnen, met twee rollers die de computer leiden volgens de beweging van de bal en dus volgens de beweging van de muis. Ik had dus interesse voor die twee rollers en wilde er meer, dus leende ik nog een muis van een vriend -- nooit teruggegeven -- en nu had ik 4 rollers. Interessant is wat ik deed met die rollers: ik haalde ze uit de muizen en legde ze naast elkaar. Het had een paar koordjes, wieltjes en veren. Ik kreeg een toestel voor gebareninterface, een bewegingsgevoelig toestel dat twee dollar had gekost. Elke beweging die ik maak in mijn fysieke wereld wordt gerepliceerd in de digitale wereld met dit kleine toestelletje dat ik 8 jaar geleden maakte, in 2000.

Omdat ik deze twee werelden wilde integreren, dacht ik aan post-its. Ik dacht: "Waarom kan ik de normale interface van een fysieke post-it niet verbinden met de digitale wereld?" Een bericht geschreven op een post-it voor mijn mama op papier kan een SMS bereiken, of een herinnering voor een vergadering kan synchroniseren met mijn digitale kalender -- een to-do-lijstje dat automatisch synchroniseert met jou. Je kan ook zoeken in de digitale wereld of een query schrijven, bijvoorbeeld: "Wat is het adres van Dr. Smith?" Dit kleine systeem drukt het af. Het gedraagt zich als een papieren input-outputsysteem, gemaakt van louter papier.

Bij een andere verkenning bedacht ik een pen die in drie dimensies kan tekenen. Ik implementeerde deze pen die designers en architecten kan helpen om niet alleen in 3 dimensies te denken, maar ook te tekenen, zodat ze meer intuïtief te gebruiken is.

Toen bedacht ik: "Waarom maak ik geen Googlekaart, in de fysieke wereld?" Liever dan een sleutelwoord in te tikken om iets te vinden, zet ik mijn dingen er bovenop. Als ik er een instapkaart leg, toont het mij waar de gate is. Een koffiekop toont je waar je meer koffie vindt, of waar je de beker kan weggooien.

Dit waren een paar van mijn vroege exploraties. Het doel was de twee werelden naadloos te integreren. Al deze experimenten hadden één ding gemeen: ik probeerde iets uit de fysieke wereld in de digitale wereld te brengen. Ik nam een aspect van de voorwerpen of van het intuïtieve van het echte leven en transfereerde ze naar de digitale wereld, met als doel onze computerinterface meer intuïtief te maken.

Maar toen besefte ik dat wij mensen eigenlijk geen belangstelling hebben voor computers. Wij hebben belangstelling voor informatie. We willen dingen weten. We willen kennis over de loop van dynamische dingen.

Dus bedacht ik vorig jaar, in het begin van het jaar: "Waarom kan ik deze aanpak niet omkeren? Waarom neem ik mijn digitale wereld niet en kleur ik de fysieke wereld met die digitale informatie?" Want pixels zijn vandaag beperkt tot rechthoekige dingen die in onze broekzak passen. Waarom hef ik die beperking niet op en breng ik dit over naar mijn dingen van elke dag, zodat ik de nieuwe taal niet moet leren om te interageren met deze pixels?

Om deze droom te realiseren, wilde ik een grote projector op mijn hoofd zetten. Daarom heet dit een hoofdgemonteerde projector, niet? Ik nam het letterlijk, en nam mijn fietshelm, maakte een insnijding zodat de projector er goed in past. Wat ik nu kan doen -- ik kan de wereld rondom mij verrijken met digitale informatie.

Later besefte ik dat ik ook wilde interageren met die digitale pixels. Dus zette ik daar een kleine camera die zich als een digitaal oog gedraagt. Later schakelden we over op een beter, meer klantgerichte versie daarvan, die velen van jullie nu kennen als het SixthSense-toestel.

Het interessantste aan deze technologie is dat je je digitale wereld mee kan nemen, waar je ook heengaat. Je kan elk oppervlak gebruiken, elke muur in de buurt, als interface. De camera volgt al je gebaren. Wat je ook doet met je handen, ze snapt je gebaar. Kijk, er zijn een paar kleurmarkeringen die we gebruiken bij de beginversie. Je kan beginnen schilderen op een muur. Je stopt bij een muur en begint te schilderen. We volgen niet één vinger, hier. We geven je de vrijheid om je twee handen helemaal te gebruiken, je kan dus beide handen gebruiken om in en uit te zoomen door te knijpen. Wat de camera doet -- die alle beelden krijgt -- is de herkenning van omtrek en kleur, en binnenin spelen zich allerlei kleine algoritmes af. Het is technisch een beetje complex, maar het geeft je een resultaat dat intuïtiever te gebruiken is.

Ik vind het spannender dat je het mee naar buiten kan nemen. In plaats van je camera uit je zak te halen, maak je gewoon het gebaar van "foto maken", en het maakt een foto voor jou.

(Applaus)

Dankuwel.

En later vind ik ergens een muur en begin ik door de foto's te bladeren, of: "OK, ik wil deze foto wat aanpassen en naar een vriend mailen." We stevenen dus af op een tijd waarin computers zich vermengen met de fysieke wereld. En natuurlijk, als je geen oppervlak hebt, kan je je handpalm gebruiken voor simpele dingen. Hier tik ik een telefoonnummer in met mijn hand. De camera snapt niet alleen je handbewegingen, maar -- interessant -- snapt ook welke dingen je in je hand houdt.

Wat we hier doen, in dit geval, is de boekomslag vergelijken met zoveel duizenden, miljoenen boeken online, en uitzoeken welk boek het is. Zodra het die informatie heeft, zoekt het recensies op. Daar heeft de New York Times misschien een overzicht van, dus kan je, op een fysieke boek, een recensie horen als geluid. ("bekende praatje aan de universiteit van Harvard...")

Dit was het bezoek van Obama aan MIT vorige week. ("... en ik wil in het bijzonder dank zeggen aan twee uitstekende MIT...") Dus ik keek naar de live-video van dit praatje, buiten, op een krant. Je krant zal je actuele weersinformatie tonen in plaats van updates te geven -- jij moet je computer checken om dat te doen, niet?

(Applaus)

As ik terugkeer, kan ik mijn instapkaart gebruiken om te bekijken hoeveel vertraging mijn vlucht heeft, want op dat moment heb ik geen zin om mijn iPhone aan te zetten, en dat icoontje te controleren. Ik denk dat deze technologie niet alleen de manier verandert -- Ja. (Gelach) Het verandert ook hoe we met mensen omgaan, niet alleen met de fysieke wereld. Het leuke is, ik ga naar de metro van Boston en speel Pong op de trein, op de grond. (Gelach) Ik denk dat verbeelding de enige grens is van wat je kan bedenken als deze technologie zich met het echte leven mengt.

Velen van jullie zullen opwerpen dat ons werk niet alleen om fysieke dingen gaat. We doen boekhouding, en schrijven op papier, en dat soort dingen. Wat daarmee? Velen vinden de volgende generatie tabletcomputers spannend, die op de markt komen. In plaats van daarop te wachten, maakte ik er een voor mezelf, met een blad papier. Ik haalde de camera eruit -- alle webcams hebben een microfoon in de camera. Ik haalde de microfoon eruit en prikte die -- ik maakte een clip van de microfoon en maakte die vast aan een stuk papier dat ik vond. Het geluid van de aanraking laat weten op welk ogenblik ik het papier aanraak. De camera volgt intussen waar mijn vingers heengaan;

Je kan natuurlijk films kijken. ("Goedemiddag. Mijn naam is Russell...") ("... en ik ben een Verkenner bij Stam 54.")

En je kan natuurlijk spelletjes spelen. (Autoracegeluid) De camera snapt hoe je het papier houdt en een autorace speelt. (Applaus)

Velen van jullie denken wellicht: "OK, je kan browsen. Natuurlijk kan je browsen naar een website of allerlei berekeningen doen op een blad papier als je het nodig hebt. Interessanter is: hoe doen we dat op een meer dynamische manier? Als ik terugkom bij mijn bureau, pak ik die informatie op en laat het los op mijn bureaublad, zodat ik mijn volledige computer kan gebruiken.

(Applaus)

Waarom alleen computers? We kunnen met louter papier spelen. De papieren wereld is leuk om mee te spelen. Hier neem ik een deel van een document en voeg er een tweede deel aan toe van een andere plek -- en wijzig ik de informatie die ik hier heb. En ik zeg: "OK, ziet er goed uit, laat me dat ding afdrukken." Nu heb ik dus een afdruk van dat ding, en nu -- De workflow was intuïtiever zoals we het 20 jaar geleden deden, dan vandaag, nu we schakelen tussen deze twee werelden.

Dus nog een laatste gedachte: ik denk dat informatie integreren in dingen van elke dag ons niet alleen zal helpen om de digitale kloof te overbruggen, het gat tussen deze twee werelden, maar het zal ons ook helpen om menselijk te blijven, om meer verbonden te zijn met de fysieke wereld. Het zal ons helpen om geen machines te zijn die voor andere machines zitten.

Dat is alles. Dankuwel.

(Applaus)

Dankuwel.

(Applaus)

Chris Anderson: Pranav, eerst en vooral, je bent een genie. Dit is echt ongelooflijk. Wat doe je ermee? Staat er een bedrijf op stapel? Of is dit voor altijd onderzoek, of zo?

Pranav Mistry: Er zijn vele bedrijven -- bedrijven die Media Lab sponsoren -- die belangstelling hebben om hier iets mee te doen. Bedrijven zoals mobiele telefoonbedrijven willen dit anders doen dan de NGO's in India, die denken: "Waarom kunnen we alleen 'SixthSense' krijgen? We hebben een vijfde zintuig nodig voor mensen die er één missen, die niet kunnen praten. Deze technologie kan worden gebruikt zodat ze anders kunnen spreken, met een spraaksysteem;"

CA: Wat zijn je eigen plannen? Blijf je op MIT, of ga je hier iets mee doen?

PM: Ik probeer dit voor meer mensen open te stellen, zodat iedereen zijn eigen SixthSense-toestel kan maken, want de hardware is niet zo moeilijk te produceren, of zelf te maken. We maken er open-sourcesoftware van, misschien vanaf volgende maand.

CA: Open source? Wow.

(Applaus)

CA: Breng je dit op één of andere manier terug naar India?

PM: Ja, natuurlijk.

CA: Wat zijn je plannen? MIT? India? Hoe zal je je tijd verdelen in de toekomst?

PM: Hier is veel energie. Veel leren. Alles wat je hier ziet gaat over mijn leren in India. Kijk, gaat het meer om kosteneffectiviteit: dit systeem kost je 300 dollar, vergeleken met de touchtafels van 20.000 dollar. Zelfs het muisgebarensysteem van twee dollar kostte toen 5.000 dollar. Dus ik liet dit eens zien aan President Abdul Kalam, toentertijd, en hij zei: "We kunnen dit gebruiken in het Bhabha Nucleair Onderzoekscentrum, op één of andere manier." Ik vind het dus spannend dat ik technologie naar de massa kan brengen in plaats van ze in het laboratorium te houden.

(Applaus)

CA: Op basis van de mensen die we bij TED hebben gezien, zou ik zeggen dat je behoort tot de twee of drie beste uitvinders in de wereld van dit moment. Het is een eer om je op TED te hebben. Heel hartelijk dank. Dat is fantastisch.

(Applaus)