Ramesh Raskar: Bildverarbeitung mit einer Billion Bildern pro Sekunde

Doc Edgerton hat uns mit Ehrfurcht und Neugier erfüllt, mit diesem Foto auf dem ein Projektil einen Apfel durchbohrt und mit einer Belichtungszeit von nur einer millionstel Sekunde. Aber jetzt, 50 Jahre später, sind wir eine Million Mal schneller und sehen die Welt nicht mit einer Million oder einer Milliarde, sondern einer Billion Bildern pro Sekunde.

Ich stelle Ihnen eine neue Art der Fotografie vor, die Femto-Fotografie, eine neue Abbildungstechnik, die so schnell ist, dass sie Zeitlupenaufnahmen von Licht in Bewegung erstellen kann. Und damit können wir Kameras bauen, die abseits unseres Sichtbereichs um Ecken schauen oder ohne ein Röntgenbild in unseren Körper hineinsehen können und wirklich in Frage stellen, was wir mit "Kamera" meinen.

Wenn ich jetzt einen Laserpointer nehme und ihn in einer billionstel Sekunde an- und ausschalte – das sind mehrere Femtosekunden –, erschaffe ich ein Paket von Photonen, das kaum einen Millimeter breit ist und dieses Photonen-Paket, dieses Projektil, wird sich in Lichtgeschwindigkeit fortbewegen, und – wie gesagt – eine Million Mal schneller als ein normales Projektil. Also, wenn Sie dieses Projektil, dieses Photonen-Paket nehmen und es in diese Flasche hinein schießen, wie werden diese Photonen in der Flasche brechen? Wie sieht Licht in Zeitlupe aus?

Also, dieses ganze Ereignis – (Applaus) (Applaus)

Also, denken Sie daran, das ganze Ereignis dauert tatsächlich weniger als eine Nanosekunde – so lang braucht das Licht, um diese Strecke zurückzulegen –, aber ich verlangsame dieses Video um den Faktor 10 Milliarden, damit Sie das Licht in Bewegung sehen können.

Nein, Coca-Cola hat diese Forschung nicht finanziert. (Gelächter)

Also, in diesem Film passiert sehr viel, also lassen Sie mich das analysieren und Ihnen zeigen was passiert. Der Puls, unser Projektil, tritt in die Flasche mit einem Photonenpaket ein, das beginnt, sich hindurch zu bewegen und das schließlich innen bricht. Ein Teil des Lichts dringt nach außen auf den Tisch und Sie sehen diese Ausbreitung der Wellen. Viele der Photonen erreichen letztendlich den Verschluss der Flasche und explodieren in verschiedene Richtungen. Wie Sie sehen können, ist dort eine Luftblase, die in der Flasche herumspringt. Währenddessen breiten sich die Wellen auf dem Tisch aus und wegen der Reflexionen von oben sehen Sie, dass die Reflexionen am Ende der Flasche nach einigen Bildern fokussiert sind.

Wenn Sie jetzt ein übliches Projektil nehmen und es dieselbe Strecke zurücklegen lassen und das Video wieder um den Faktor 10 Milliarden verlangsamen, wissen Sie, wie lange Sie dann hier sitzen müssen, um den Film zu sehen? Einen Tag, eine Woche? Nein, ein ganzes Jahr. Das wäre ein sehr langweiliger Film – (Gelächter) – von einem langsamen, normalen Projektil in Bewegung.

Und wie sieht es mit etwas Stillleben-Fotografie aus?

Sie können wieder sehen, wie diese Wellen den Tisch, die Tomate und die Wand im Hintergrund überspülen. Es ist, als wenn man einen Stein in einen Teich wirft.

Mir erschien es so, als würde die Natur so ein Foto malen, jeweils ein Femto-Bild, aber natürlich sieht unser Auge ein zusammengesetztes Einzelbild. Aber wenn Sie sich diese Tomate noch einmal ansehen, dann werden Sie erkennen, dass, wenn das Licht die Tomate überspült, diese weiter erleuchtet bleibt. Sie wird nicht dunkel. Warum ist das so? Weil die Tomate reif ist und das Licht in ihr umher springt und nach einigen billionstel Sekunden wieder herauskommt. Also, in Zukunft, wenn diese Femto-Kamera in Ihrem Kamerahandy eingebaut ist, könnte es möglich sein, dass Sie in einen Supermarkt gehen und feststellen können, ob eine Frucht reif ist, ohne sie überhaupt zu berühren.

Wie also hat mein Team am MIT diese Kamera gebaut? Also, als Fotografen wissen Sie, wenn Sie ein Foto mit kurzer Belichtungszeit machen, haben Sie sehr wenig Licht, aber wir belichten eine Milliarde Mal schneller als Ihre kürzeste Belichtungszeit, also bekommen Sie so gut wie gar kein Licht. Also wir machen Folgendes: Wir schicken dieses Projektil, dieses Photonen-Paket, millionfach und zeichnen das wieder und wieder mit sehr cleverer Synchronisation auf und diese Gigabytes von Daten kombinieren wir rechnerisch, um diese Femto-Videos zu erstellen, die ich Ihnen gezeigt habe.

Und wir können all diese Rohdaten nehmen und damit sehr interessante Dinge machen. Also, Superman kann fliegen. Andere Helden können sich unsichtbar machen, aber wie wäre es mit einer neuen Superkraft für einen künftigen Superhelden: um Ecken sehen können? Die Idee ist, dass wir etwas Licht auf die Tür strahlen. Es wird abprallen, in den Raum gehen, ein Teil davon wird wieder zurück auf die Tür reflektiert und schließlich zurück zur Kamera und wir könnten diese mehrfachen Abpraller des Lichtes ausnutzen.

Und das ist keine Science-Fiction. Wir haben es sogar schon gebaut. Links sehen Sie unsere Femto-Kamera. Hinter der Wand ist eine Puppe versteckt und wir werden das Licht an der Tür abprallen lassen.

Nachdem unsere Abhandlung in der "Nature Communications" veröffentlicht worden war, wurde es von Nature.com hervorgehoben und sie haben diese Animation erstellt.

(Musik)

Wir werden diese Licht-Projektile abfeuern und sie werden auf diese Wand trefffen und dieses Photonen-Paket wird in alle Richtungen gestreut und einige der Photonen werden unsere versteckte Puppe erreichen, die wiederum das Licht brechen lassen wird, und dann wird wiederum die Tür einen Teil des gebrochenen Lichts reflektieren und ein winziger Anteil der Photonen wird dann wieder zurück zur Kamera kommen, aber am interessantesten ist, sie werden alle zu einem leicht unterschiedlichen Zeitpunkt ankommen. (Musik)

Und weil wir eine Kamera haben, die so schnell ist – unsere Femto-Kamera hat einige einzigartige Fähigkeiten. Sie hat eine sehr gute Zeitauflösung und sie kann die Welt in Lichtgeschwindigkeit ansehen. Und dadurch wissen wir natürlich die Entfernung zur Tür, aber auch die zu den versteckten Objekten, aber wir wissen nicht, welcher Punkt zu welcher Entfernung gehört. (Musik)

Indem wir einen Laser aufleuchten lassen, können wir ein Roh-Bild aufnehmen, das – wie sie auf dem Bildschirm sehen – nicht wirklich Sinn macht, aber wenn wir dann viele dieser Bilder aufnehmen, Dutzende dieser Bilder, und sie zusammenfügen und versuchen, die verschiedenen Licht-Abpraller zu analysieren, können wir dann das versteckte Objekt sehen? Können wir es in 3D sehen?

Also das hier ist unsere Rekonstruktion. (Musik) (Musik) (Musik) (Applaus)

Wir haben noch einiges zu tun, bevor wir das vom Labor in die Praxis umsetzen können, wir könnten Autos bauen, die Kollisionen vermeiden und erkennen, was hinter der Kurve ist, oder wir können damit in gefährlichen Lagen nach Überlebenden suchen, indem wir uns Licht ansehen, das durch offene Fenster reflektiert wird, oder wir können Endoskope bauen, die tief in den Körper um Okkluder herum sehen und auch Kardioskope. Aber wegen des Blutes und Gewebes ist das natürlich sehr herausfordernd, weshalb das wirklich ein Weckruf für Wissenschaftler ist, jetzt über Femto-Fotografie nachzudenken, da ein neues bildgebendes Verfahren tatsächlich die nächste Generation von medizinischen Abbildungsproblemen lösen könnte.

Also, wie bei Doc Edgerton, selbst ein Wissenschaftler, ist die Wissenschaft eine Kunst geworden, eine Kunst der ultra-schnellen Fotografie, und mir wurde klar, dass all diese Gigabytes von Daten, die wir jedes Mal sammeln, nicht nur der wissenschaftlichen Bildverarbeitung nutzten. Wir können auch eine neue Form der Computer-Fotografie schaffen, mit Zeitraffer und Farbkodierungen, und wir können uns diese Wellen anschauen. Vergessen Sie nicht, die Zeit zwischen jeder dieser Welle ist nur ein paar trillionstel Sekunden.

Aber es passiert hier auch etwas Lustiges. Wenn Sie sich diese Wellen unter dem Flaschenverschluss anschauen, sehen Sie, dass sich die Wellen von uns weg bewegen. Die Wellen sollten sich zu uns hin bewegen. Was passiert hier?

Es stellte sich heraus, dass wir, weil wir fast in Lichtgeschwindigkeit aufnehmen, seltsame Effekte haben und Einstein hätte dieses Bild unglaublich gerne gesehen. Die Reihenfolge, in der Ereignisse in der Welt passieren, erscheinen in der Kamera in umgekehrter Reihenfolge, also, indem man die entsprechende Beziehung von Raum und Zeit anwendet, können wir diese Verzerrung korrigieren.

Also egal, ob für Fotografie um Ecken herum oder das Erschaffen eines neuen bildgebenden Verfahrens für die Medizin oder neue Darstellungsformen, seit unserer Erfindung haben wir alle Daten und Details auf unserer Website offen zugänglich gemacht und hoffen, dass die "Selbermacher", die Kreativen und die Forschungsgemeinde uns zeigen, dass wir aufhören sollten, uns auf die Megapixel-Zahlen in Kameras zu fixieren – (Gelächter) – und anfangen sollten, uns auf die nächste Dimension der Darstellung zu konzentrieren. Es geht um die Zeit. Danke schön. (Applaus) (Applaus)