Deb Roy: Die Geburt eines Wortes

Stellen Sie sich vor, Sie könnten Ihr Leben aufnehmen - alles was Sie sagen, alles was Sie tun steht Ihnen in einem perfekten Erinnerungsspeicher zur Verfügung so dass Sie zurückgehen können und unvergessliche Momente finden und noch einmal durchleben, die Spuren der Zeit durchsuchen und Muster in Ihrem Leben entdecken die vorher unentdeckt geblieben waren. Nun, genau dies war die Reise, die für meine Familie vor fünfeinhalb Jahren begann. Dies ist meine Frau und Mitarbeiterin, Rupal. Und an dem Tag, in diesem Augenblick kamen wir zum ersten Mal mit unserem Erstgeborenen nach Hause, unserem wundervollen Sohn. Und wir traten in ein Haus ein mit einem sehr speziellen Video-Aufnahmesystem.

(Video) Man: Okay.

Deb Roy: Diesen Augenblick und tausend andere Momente, die uns viel bedeuten, wurden in unserem Haus aufgenommen, weil in jedem Raum des Hauses oben an der Decke eine Kamera mit Mikrophon montiert war. und von dort oben war der ganze Raum aus der Vogelperspektive zu sehen. Hier ist unser Wohnzimmer. das Kinderzimmer Küche, Esszimmer und der Rest des Hauses. Alle zusammen spiesen einen CD-Wechsler der auf Daueraufnahme eingestellt war. Hier fliegt ein Tag in unserem Heim vorbei vom sonnigen Morgen zum glühenden Abend und, zum Schluss, Lichterlöschen am Ende des Tages. Im Lauf von drei Jahren nahmen wir täglich acht bis zehn Stunden auf, sammelten ungefähr eine Viertelmillion Stunden mehrspuriges Ton- und Bildmaterial.

Sie sehen also ein Stück der größten Heimvideosammlung. (Gelächter) Die Bedeutung dieser Daten für uns persönlich als Familie ist jetzt schon immens, und wir finden immer noch heraus, wie wertvoll sie sind. Unzählige Momente dieser ungeplanten, ursprünglichen, nicht gestellten Augenblicke wurden hier eingefangen, und wir lernen immer noch, wie wir sie aufspüren und finden können.

Es gibt aber auch einen wissenschaftlichen Grund für dieses Projekt. nämlich die Daten dieser natürlichen Langzeitstudie zu verwenden, um den Prozess zu verstehen mit dem ein Kind seine Sprache lernt. dieses Kind, mein Sohn. Mit vielen Vorkehrungen, um die Privatsphäre all derer zu gewähren die in den Daten aufgenommen worden waren, stellten wir Teile der Daten unserem zuverlässigen Forschungsteam am MIT zur Verfügung, um so Muster herauskitzeln zu können aus dieser riesigen Datenmenge. Wir versuchten zu verstehen, wie das soziale Umfeld Spracherwerb beeinflusst, Dies hier ist ein Blick auf eines der ersten Dinge, mit denen wir anfingen. Meine Frau und ich kochen hier gerade das Frühstück. Während wir uns durch Raum und Zeit bewegen in einem sehr alltäglichen Lebensmuster in der Küche.

Zur Übersetzung dieser 90.000 Stunden Video, in eine Form, in der wir etwas sehen konnten, holten wir, während wir uns durch Raum und Zeit bewegten, mit Bewegungsanalysen so-genannte Raum-Zeit-Würmer heraus. Und dies wurde Teil unserer Werkzeugpalette um herauszufinden, wo etwas Wichtiges stattfand und damit Muster erkennen zu können, insbesondere wo sich mein Sohn im Haus bewegte, um so die Protokollarbeiten darauf fokussieren zu können, in welchem Sprachumfeld sich mein Sohn befand - mit all den Wörtern von mir, meiner Frau, unserem Kindermädchen und den Wörtern, die er mit der Zeit zu produzieren begann. Mit der Technologie und der Datenmenge, sowie der Möglichkeit, mit Hilfe von Apparaten Sprache zu transkibieren, haben wir jetzt mehr als 7 Millionen Wörter protokolliert. Damit kann ich Sie jetzt mitnehmen auf eine erste Tour in die Daten.

Sie haben sicher alle schon Zeitraffervideos gesehen. in der das Aufblühen einer Blume verschnellert wird. Erleben Sie jetzt mit mir das Aufblühen einer Sprechweise. Kurz nach seinem ersten Geburtstag sagte mein Sohn "gaga", wenn er Wasser meinte. Im Laufe des nächsten halben Jahres lernte er langsam, sich anzunähern an die erwachsene Form "Wasser". Wir werden also in 40 Sekunden durch ein halbes Jahr sausen. Kein Video hier, damit Sie sich auf den Ton, die Akustik konzentrieren können. einer neuen Art von Höhenflug von gaga zu Wasser.

(Audio) Baby: Gagagagaga Gaga gaga gaga guga guga guga wada gaga gaga guga gaga wadö guga guga uata wata wata wata wata wata water water water.

Dr: Er hat's getroffen, nicht wahr?

(Applaus)

So lernte er nicht nur "Wasser" im Lauf der 24 Monate, den zwei ersten Lebensjahren, auf die wir uns wirklich konzentrierten. Dies ist eine chronologische Karte aller Worte, die er lernte. Und weil wir komplette Transkripte haben können wir jedes der 503 Wörter identifizieren, die er bis zu seinem zweiten Geburtstag sprechen gelernt hatte. Er sprach sehr früh. Darum fingen wir an zu analysieren, warum. Warum wurden bestimmte Wörter vor andern geboren? Dies ist eines der ersten Fazits, das vor etwas mehr als einem Jahr herauskam, das uns wirklich überraschte: Diese einfache Grafik ist folgendermaßen zu interpretieren: vertikal ist angegeben, wie komplex die Sprache der Bezugsperson ist basierend auf der Länge der Sätze. Die vertikale Achse ist also Zeit.

Und all die Daten glichen wir ab unter der folgenden Konzept: jedes Mal, wenn mein Sohn ein Wort lernte, gingen wir zurück und erfassten die gehörte Sprache, in der das Wort vorkam. Dann zeichneten wir die relative Satzlänge auf. Und was wir herausfanden war dieses eigenartige Phänomen, dass die Satzlänge der Bezugsperson systematisch auf ein Minimum sank, die Sprache so einfach wie möglich machte, und danach langsam wieder in Komplexität gewann. Das Faszinierendste daran war, dass dieser Taucher, diese Senke fast perfekt übereinstimmte mit dem Moment, in dem jedes Wort geboren wurde. Worf für Wort, ganz gezielt. Es scheint also, dass alle drei Bezugspersonen - ich, meine Frau und unser Kindermädchen - systematisch und ich glaube unbewusst - unsere Sprache anpassen um ihm während der Geburt eines Wortes gerecht zu werden und ihn sanft zu komplexerer Sprache zu bringen. Die Schlussfolgerungen daraus - es gibt viele, aber ich will nur diese eine hervorheben, ist, dass es unglaubliche Rückmelde-Schlaufen geben muss. Natürlich lernt mein Sohn von seinem sprachlichen Umfeld, aber das Umfeld lernt von ihm. Dieses Umfeld, Menschen, sind in diesen engen Reaktionsschlaufen und erstellen eine Art Gerüst das bis jetzt noch nicht beobachtet wurde.

Aber das ist der Blick auf den sprachlichen Kontext. Wie ist es mit dem visuellen Kontext? Wir betrachten nicht -- stellen Sie sich unser Haus ohne Dach vor, wie ein Puppenhaus. Wir nahmen diese runden Fischaugen-Kameras und führten optische Korrekturen aus, die wir zu einem dreidimensionalen Leben erwecken können. Also, willkommen in meinem Haus. Dies ist ein Augenblick eingefangen über mehrere Kameraeinstellungen. Das Ziel war, den ultimativen Datenspeicher zu kreieren, in dem man zurückgehen und interaktiv herumfliegen und dem System Video-Leben einhauchen kann Was ich jetzt machen werde ist, Ihnen einen Zeitraffer von 30 Minuten zu zeigen, wieder, aus dem Alltag im Wohnzimmer. Das bin ich mit meinem Sohn am Boden. Und hier ist die Videoanalyse, in der unsere Bewegungen verfolgt werden. Mein Sohn hinterlässt rote Farbe, ich hinterlasse grüne Farbe. Jetzt sind wir auf dem Sofa, schauen aus dem Fenster den vorbeifahrenden Autos zu. Und zum Schluss spielt mein Sohn alleine in einer Gehhilfe.

Jetzt stoppen wir den dreißig Minuten langen Film, wir verwandeln die Zeit in die vertikale Achse und öffnen die Sicht auf die Interaktionsspuren, die wir hinterlassen haben. Und wir sehen diese verblüffenden Strukturen - diese kleinen Verknüpfungen der zwei farbigen Fäden nennen wir soziale Lichtpunkte. Diese spiralförmigen Gewinde nennen wir einen Einzel-Lichtpunkt. Wir glauben, dass diese beeinflussen, wie Sprache gelernt wird. Wir möchten gerne zu verstehen beginnen, wie diese zwei Muster zusammenspielen mit der Sprache, der mein Sohn ausgesetzt ist um zu sehen, ob wir voraussagen können wie die Struktur im Moment, in dem Wörter gehört werden, einen Einfluss darauf hat, wann sie gelernt werden - In anderen Worten die Beziehung zwischen Wörtern und dem, wofür sie in der Welt stehen.

So gehen wir die Sache an. In diesem Film ist mein Sohn wieder ausgezeichnet. Er hinterlässt eine rote Spur. Und hier ist unser Kindermädchen bei der Tür.

(Video) Kindermädchen: Willst du Wasser? (Baby: Aaaa.) Kindermädchen: Also gut. (Baby: Aaaa)

DR. Sie bietet ihm Wasser an, und los gehen die beiden Würmer hinüber in die Küche, um Wasser zu holen. Und was wir gemacht haben ist, das Wort "Wasser" zu benützen um diesen Moment zu markieren, dieses kleine Stück Handlung. Und jetzt nehmen wir die Macht der Daten und nehmen jeden Augenblick, in dem mein Sohn jemals das Wort Wasser hörte, und den Zusammenhang, in dem er es sah, und verwenden es, um das Video zu durchforsten und jede Spur einer Handlung zu finden, die gleichzeitig im Zusammenhang mit Wasser stattfand. Und was die Daten hinterlassen ist eine Landschaft, wir nennen sie Wortlandschaft. Dies ist die Wortlanschaft für das Wort Wasser. Und Sie können sehen, dass die größte Aktivität in der Küche stattfindet. Das sind hier diese hohen Spitzen auf der linken Seite. Und nur um zu vergleichen, können wir dies mit jedem Wort machen, Wir können das Wort "bald" nehmen wie es in "bis bald" vorkommt. Wir sind jetzt eingezoomt über dem Hauseingang. Und wir beobachten wie erwartet eine Veränderung der Wortlandschaft, in der das Wort "bald" in einer viel strukturierteren Weise stattfindet. Wir brauchen also diese Strukturen um anzufangen, Voraussagen zu treffen in welcher Reihenfolge Sprache erworben wird, daran arbeiten wir im Moment.

In meinem Labor am MIT, in das wir jetzt gucken, dies ist am Medienlabor. Dies wurde meine bevorzugte Art jeden erdenklichen Bereich auf Film zu bannen. Drei der wichtigsten Personen in diesem Projekt Philip DeCamp, Rony Kubat und Brandon Roy sind hier zu sehen. Philip war ein enger Mitarbeiter in all den Visualisierungen, die Sie gesehen haben. Und Michael Fleischman war ein weiterer Doktorant in meinem Labor, der mit mir an dieser Heimvideoanalyse arbeitete, und er machte folgende Beobachtung: "Die Art, mit der wir analysieren wie sich Sprache an Ereignisse koppelt, die die gemeinsame Basis für Sprache schafft können wir auch losgelöst von deinem Haus aif die Welt der Medien anwenden, Deb." Und so erfuhren unsere Anstrengungen eine unerwartete Wende.

Stellen Sie sich die ganzen Massenmedien vor die eine gemeinsame Basis bilden und Sie haben das Rezept, um dieses Konzept in eine ganz andere Richtung zu entwickeln. Wir begannen, den Inhalt von Fernsehsendungen zu analysieren, indem wir die gleichen Prinzipien benützten - analysierten die Ereignisstruktur eines Fernsehsignals - Folgen einer Fernsehsendung, Werbung, all die Komponenten, die zu einem Fernsehhprogramm gehören. Und zur Zeit sammeln und analysieren wir immer über Satellit einen guten Teil aller Fernsehprogramme, die in den USA geschaut werden. Dazu muss man jetzt nicht Wohnzimmer mit Mikrophonen ausrüsten, um die Gespräche der Leute auf zu nehmen, man klinkt sich nur in die öffentlich verfügbaren Kommunikationskanäle.

So erhalten wir ungefähr drei Milliarden Kommentare pro Monat. Und jetzt beginnt das Wunder. Sie haben die Struktur der Sendungen, die gemeinsame Basis, von der die Worte handeln, die von den Sendern ausgestrahlt werden; Sie haben die Gespräche über diese Themen; und durch semantische Analysen - und dies ist echtes Datenmaterial, das Sie hier sehen von unserer Datenverarbeitung - jede gelbe Linie zeigt, wie eine Verbindung gemacht wurde zwischen einem Kommentar irgendwo da draußen und einem Stück einer Fernsehsendung, die ausgestrahlt wurde. Und die gleiche Idee kann nun aufgebaut werden. Und wir bekommen diese Wortlandschaft, nur diesmal wurden nicht Wörtern in meinem Wohnzimmer gesammelt, sondern jetzt, im Kontext der Aktivitäten auf öffentlichen Plattformen geht es um den Inhalt von Fernsehsendungen, die die Gespräche antreiben. Was wir hier sehen, diese Wolkenkratzer, sind Kommentare, die im Zusammenhang mit dem Inhalt der Fernsehsendungen sind. Gleiches Konzept, aber mit Blick auf die Kommunikationsdynamik in einem ganz anderen Einflussbereich.

Und im Wesentlichen, anstatt zum Beispiel zu messen, wie viele Leute sich einen bestimmten Inhalt ansehen, erhalten wir hier die Grunddaten an denen wir studieren können, welcher Inhalt welche Teilnahmewirkung hat und so wie wir die Rückmeldeschlaufen und Dynamik in einer Familie beobachten können, können wir jetzt das gleiche Konzept öffnen und auf eine viel grössere Gruppe Menschen anwenden. Dies hier ist ein Teilsatz unserer Daten - nur 50.000 von mehreren Millionen - und das soziale Diagramm, das sie über öffentliche Quellen verbindet. Und wenn Sie diese jetzt in eine Ebene legen, und in einer anderen Ebene den Inhalt, dann haben wir die Programme und die Sportveranstaltungen und die Werbung, und all die Verbindungsstrukturen, die sie zusammenketten, ergeben eine Inhaltsgrafik. Und dann die wichtige dritte Dimension. Jede dieser Linien, die Sie hier sehen, bezeichnet eine effektiv zu Stande gekommene Verbindung zwischen etwas, das jemand sagte und einem Ausschnitt aus einer Sendung. Und hier sind wieder mehrere Zehnmillionen Verbindungen die dieses Geflecht eines sozialen Netzes ergeben und aufzeigen, wie sie mit dem Inhalt der Sendungen korrelieren. Wir können jetzt diese Struktur erforschen auf verschiedene, interressante Weise.

Wenn wir zum Beispiel den Weg verfolgen, den ein Stück Information zurücklegt, das jemanden dazu bringt, einen Kommentar abzugeben, und wenn wir den Weg dieses Kommentars weiterfolgen, und die ganze soziale Struktur beobachten, die aktiviert wird, und danach wieder zurückkehren, um die Beziehung zu erkennen zwischen der sozialen Struktur und der Information wird eine sehr interressante Struktur sichtbar. Wir nennen dies eine mit-sehende Klique, ein virtuelles Wohnzimmer sozusagen. Und da ist eine faszinierende Dynamik im Spiel. Das ist keine Einbahnstrasse. Eine Information, ein Ereignis bringt jemandem zum Reden. Sie reden mit anderen Leuten. Dies bringt die Leute, die zuhören, zurück zu den Massenmedien und es entstehen Kreisläufe die das Gesamtverhalten lenken.

Ein anderes Beispiel - ganz anders- eine echte Person in unserer Datei - und wir finden mindestens hunderte, wenn nicht tausende davon. Wir haben dieser Person einen Namen gegeben. Dies ist ein halbprofessioneller - ein "Pro-Am", ein Medienkritiker, dessen Suchverhalten sich weit ausdehnt. Nun verfolgen viele Leute die Kommentare diser Person - sie ist einflussreich - sie neigen dazu, über Dinge zu reden, die im Fernsehen waren. So wird diese Person eine Hauptverbindung zwischen den Massenmedien und den sozialen Netzwerken.

Ein letztes Beispiel aus diesen Daten: Manchmal ist tatsächlich der Inhalt etwas Besonderes. Wenn wir uns jetzt diesen Ausschnitt betrachten, die Rede von Präsident Obama zur Lage der Nation, erst einige Wochen her, und verfolgen, was wir im gleichen Datenset in der gleichen Auflösung finden, entdecken wir die Beteiligung zu diesem Thema die wirklich bemerkenswert ist. Eine Nation bricht in Gespräche aus, in Echtzeit reagiert sie auf das, was gesendet wurde. Und selbstverständlich geht durch jede dieser Linie eine Flut unstrukturierter Sprache. Wir können dies durchleuchten und sind am Echtzeit-Puls einer Nation, erhalten einen Eindruck in Echtzeit wie verschiedene Netzwerke in sozialen Strukturen darauf reagieren, aktiviert durch den Inhalt.

Um also die Idee zusammen zu fassen: während unsere Welt zunehmend verkabelt wird, und wir die Möglichkeit haben die Punkte zu sammeln und zu verbinden zwischen dem, was Menschen sagen und dem Kontext, in dem sie es sagen, erhalten wir die Fähigkeit neue Sozialstrukturen und Dynamiken zu sehen die vorher verborgen blieben. Als würden wir ein Mikroskop oder Teleskop bauen und neue Strukturen aufdecken über unser eigenes Verhalten im Zusammenhang mit Kommunikation. Und ich glaube, die Implikationen sind profund, ob für die Wissenschaft, die Wirtschaft, die öffentliche Hand oder vielleicht am Wichtigsten, für uns als Individuen.

Und um nun wieder zu meinem Sohn zurückzukommen; während ich diesen Vortrag vorbereitete, schaute er mir über die Schulter, und ich zeigte ihm die Videoclips, die ich zu zeigen plante, und fragte ihn um Erlaubnis -- erteilt. Ich fuhr weiter und reflektierte, "Ist es nicht total faszinierend, diese ganze Datensammlung, all diese Aufnahmen werde ich dir und deiner Schwester übergeben," die zwei Jahre später zur Welt kam. "Und ihr zwei könnt zurückgehen und die Momente wiedererleben wie ihr euch mit eurem biologischen Erinnerungsvermögen wohl nie so gut daran erinnern könntet. Und er schwieg für einen Moment. Und ich dachte: "was bilde ich mir ein? Er ist fünf Jahre alt. Er wird das nicht verstehen." Und während ich das dachte, schaute er zu mir herauf und sagte, "Das heißt, wenn ich gross bin, kann ich das meinen Kindern zeigen?" Und ich dachte: "Großartig, dies ist ein starkes Ding."

Daher möchte ich Sie mit einem letzten denkwürdigen Moment für unsere Familie entlassen. Dies ist das erste Mal, dass unser Sohn mehr als zwei Schritte auf einmal machte - eingefangen im Film. Und ich möchte Sie bitten, auf etwas zu achten während wir das gemeinsam ansehen. Es ist eine Unordnung, es ist das Leben. Meine Mutter ist in der Küche, sie kocht, und ich bemerke, dass er ausgerechnet im Korridor im Begriff ist, zum ersten Mal mehr als zwei Schritte zu gehen. Sie hören mich also, wie ich ihn ansporne, als ich merke, was geschieht, und dann passiert das Wunder. Hören Sie ganz genau hin. Nach ungefähr drei Schritten wir ihm klar, dass etwas Besonderers passiert. Und die fantastischste Rückmelde-Schlaufe beginnt, er nimmt einen tiefen Atemzug, und flüstert "wow" und ich wiederhole instinktiv, was er sagt. Lassen Sie uns zurückfliegen in der Zeit zu diesem grossen Augenblick

(Video) DR: Hallo. Komm her. Schaffst du's? Junge, Junge. Kannst du's? Baby: Ja. DR: Mama, er geht.

(Gelächter)

(Applaus)

DR: Danke

Applaus