Deb Roy: Cum se naste un cuvant

Imaginati-va ca ati putea sa va inregistrati intreaga viata -- tot ce ati spus, tot ce ati facut vreodata, sa fie disponibil intr-o locatie de memorie la indemana, ca sa puteti sa reveniti asupra amintirilor sa regasiti momente memorabile si sa le retraiti, sau sa urmariti trecerea timpului si sa descoperiti structuri in propria viata care fusesera nedetectate pana atunci. Ei bine, aceasta este calatoria pe care familia mea a inceput-o acum cinci ani si jumatate. Aceasta este sotia si colaboratoarea mea, Rupal. Iar in aceasta zi, la acest moment, am pasit in casa cu primul nostru copil, frumosul nostru baietel. Si am pasit intr-o casa cu un sistem foarte special de inregistrare video.

(Video) Barbat: OK.

Deb Roy: Acest moment si mii de alte momente speciale pentru noi, au fost inregistrate in casa noastra pentru ca in fiecare incapere din casa, daca va uitati sus, veti observa o camera video si un microfon, iar daca va uitati in jos, aveti o vedere aeriana a intregii incaperi. Iata camera noastra de zi, dormitorul copilului, bucataria, sufrageria si restul casei. Iar toate acestea sunt stocate pe un ansamblu de discuri proiectat sa capteze imagini fara intrerupere. Iata aici o zi obisnuita in casa noastra cum ne miscam de la soarele diminetii la lumina incandescenta a serii, iar, in final, stingerea. De-a lungul a trei ani de zile am inregistrat intre 8-10 ore zilnic, acumuland in jur de un sfert de milion de ore de inregistrari paralele audio si video.

Asa ca vedeti aici ceea ce este de departe cea mai mare colectie video personala creata vreodata. (Rasete) Iar ceea ce aceste date reprezinta pentru familia noastra pe plan personal, impactul a fost deja unul imens, si inca ii invatam adevarata valoare. Nenumarate momente de scene naturale, neregizate, sunt captate acolo, si incepem sa invatam cum sa le descoperim si sa le gasim.

Exista insa si un motiv stiintific in spatele acestui proiect, si anume sa folosim aceste informatii naturale longitudinale ca sa intelegem procesul prin care un copil invata sa vorbeasca -- acel copil fiind fiul meu. Asa ca luand masurile necesare pentru protejarea intimitatii tuturor celor care fusesera inregistrati, am facut publice informatiile echipei mele de cercetare de la MIT ca sa putem incepe sa cautam structuri in acest set masiv de date, incercand sa intelegem influenta mediului social asupra invatarii limbajului. Avem aici unul din primele lucruri pe care le-am inceput. Iat-o pe sotia mea pregatind micul dejun impreuna cu mine in bucatarie. Si in timp ce ne miscam prin spatiu si timp, o rutina a vietii zilnice in bucatarie.

Pentru a putea converti aceste 90.000 de ore de inregistrari video in ceva ce putem vizualiza, am folosit analiza miscarii pentru a extrage, pe masura ce ne deplasam in spatiu si timp, ceea ce denumim viermi in spatiu-timp. Aceasta notiune a devenit parte din setul nostru de instrumente ce ne permite sa vedem si observam unde au loc activitatile in setul de date, si astfel sa trasam in special rutinele fiului meu in timp ce se misca prin casa, astfel incat sa ne concentram eforturile noastre de transcriere, toate mediile in care se vorbeste in jurul fiului meu -- toate cuvintele pe care le-a auzit de la mine, de la sotia mea sau de la doica noastra, iar in timp, cuvintele pe care el a inceput sa le spuna. Cu aceasta tehnologie si cu aceste date si cu abilitatea asistata de calculator sa transcriem vorbirea am transcris pana acum mai bine de sapte milioane de cuvinte de la noi din casa. Si cu aceasta, permiteti-mi sa va invit acum pentru o prima vizita in aceste date.

Sunt sigur ca toti ati vazut pana acum inregistrari video time-lapse in care o floare infloreste pe masura ce accelerati timpul. As dori sa fiti acum martori la inflorirea unei forme de vorbire. Fiul meu, la putin timp dupa ce a implinit un an, spunea "gaga" cand voia apa ("water"). Si de-a lungul urmatoarei jumatati de an, a invatat incet sa aproximeze forma corecta si matura, "water". Asa ca vom calatori de-a lungul acestor 6 luni in aproximativ 40 de secunde. Nu exista video aici, asa ca puteti sa va concentrati pe sunetul, pe acustica, unui nou tip de traiectorie: de la "gaga" la "water".

(Audio) Bebe: Gagagagagaga Gaga gaga gaga guga guga guga wada gaga gaga guga gaga wader guga guga water water water water water water water water water.

DR: A reusit in final, nu-i asa?

(Aplauze)

Nu a invatat sa spuna doar apa. De-a lungul a 24 de luni, primii doi ani pe care ne-am concentrat cu adevarat, aceasta este o harta a fiecarui cuvant pe care l-a invatat, in ordine cronologica. Si din cauza ca avem transcrieri complete, am identificat fiecare din cele 503 de cuvinte pe care le-a invatat pana cand a implinit doi ani. A vorbit devreme pentru varsta lui. Asa ca am inceput sa analizam motivul. De ce unele cuvinte apareau inaintea altora? Acesta este unul din primele rezultate obtinute prin studiul nostru acum mai putin de un an in urma care ne-a surprins cu adevarat. Pentru a interpreta acest aparent simplu grafic pe verticala avem un indice al complexitatii expresiilor verbale folosite de ingrijitor calculat pe baza lungimii acestor expresii. Iar pe axa verticala avem timpul.

Si toata informatia noi am aliniat-o pe urmatoarea idee: De fiecare data cand fiul meu invata un cuvant, ne uitam inapoi la toate propozitiile pe care le auzise care contineau acel cuvant. Si puneam in grafic lungimea relativa a expresiilor. Si am descoperit acest fenomen curios, ca limbajul ingrijitorului se reduce la minimum, facand limbajul cat mai simplu posibil, iar apoi creste incet inapoi in complexitate. Ceea ce este uimitor este ca acea scadere in complexitate se aliniaza aproape perfect cu momentul in care fiecare cuvant se nastea -- cuvant dupa cuvant, in mod sistematic. Se pare ca toti cei trei care aveau grija de copil eu insumi, sotia mea si doica noastra in mod sistematic si, presupun, subconstient ne restructuram limbajul pentru a ne cobori la nivelul lui pentru fiecare cuvant nou iar apoi il aduceam usor-usor spre un limbaj mai complex. Iar dintre implicatiile acestui lucru, si sunt destule, dar pe cea pe care as dori sa o evidentiez este ca trebuie sa existe bucle de control uimitoare. Bineinteles, fiul meu invata din mediul sau lingvistic inconjurator, dar si mediul inconjurator invata de la el. Acest mediu, oamenii, se afla in aceste bucle de control stranse si creaza un fel de schela care nu a fost observata pana acum.

Dar asta e doar uitandu-ne la contextul verbal. Ce facem insa cu contextul vizual? Nu ne uitam la... ganditi-va la casa noastra ca la o casa de papusi in sectiune. Am folosit aceste camere video cu obiective "ochi de peste", si am facut niste corectari optice, dupa care putem aduce totul la viata in 3D. Asa ca bine ati venit la mine acasa. Acesta este un moment, un moment captat pe mai multe camere video. Motivul pentru care am facut asa ceva a fost sa cream masinaria de memorie finala, in care te poti intoarce si zbura in jur in mod interactiv ca apoi sa suflam video-viata in acest sistem. Ce voi face acum este sa va prezint o secventa accelerata de 30 de minute, din nou, din viata simpla din sufragerie. Iata-ne pe mine si pe fiul meu jos pe parchet. Si iata analiza video care ne urmareste miscarile. Fiul meu lasa urme in rosu, iar eu in verde. Acum suntem pe canapea, ne uitam pe fereastra la masinile care trec pe strada. Si in final, fiul meu se joaca singur intr-un scaunel premergator.

Acum inghetam actiunea, 30 de minute, punem timpul pe axa verticala, si deschidem o imagine a acestor trasee de interactiune pe care le-am lasat in urma noastra. Si putem observa aceste structuri uimitoare -- aceste ghemotoace din doua fire de culori diferite pe care le numim puncte fierbinti. Traseul in spirala il numim punct fierbinte solo. Si credem ca acestea afecteaza modul in care vorbirea este invatata. Ceea ce am dori sa facem este sa incepem sa intelegem interactiunea dintre tipare si limbajul la care este expus fiul meu ca sa vedem daca putem prezice modul in care structura de momente cand cuvintele sunt auzite influenteaza cand ele sunt invatate -- cu alte cuvinte, relatia dintre cuvinte si ce inseamna ele pe lume.

Si iata cum am abordat problema. In acest video, din nou, iata traiectoria fiului meu. Lasa in urma o dara rosie. Si iat-o pe doica noastra langa usa.

(Video) Doica: Vrei apa? (Baby: Aaaa.) Doica: Bine. (Baby: Aaaa)

DR: Ea ii ofera apa, si iata cum pleaca cele doua rame spre bucatarie sa ia apa. Si ce am facut a fost sa folosim cuvantul "apa" pentru a eticheta acel moment, acea activitate. Iar acum ne folosim de puterea informatiei si luam fiecare moment in care fiul meu a auzit cuvantul "apa" precum si contextul in care l-a auzit, si il folosim sa strabatem secventele video si sa gasim fiecare urma de activitate care a aparut concomitent cu o aparitie de "apa". Iar ce obtinem din aceasta informatie in acest mod este un peisaj. Numim aceste peisaje "wordscapes". Acesta este wordscape-ul pentru cuvantul "apa", si puteti observa ca majoritatea actiunii are loc in bucatarie. Acolo se afla acele varfuri inalte in partea stanga. Si pentru comparatie, putem face asta cu orice cuvant. Putem lua cuvantul "pa" in sens de "la revedere". Si ne uitam cu atentie la intrarea in casa. Si ne uitam, si descoperim, conform asteptarilor, o diferenta in peisaj acolo unde cuvantul "pa" apare mai des intr-o forma structurata. Asa ca folosim aceste structuri ca sa incepem sa prezicem ordinea in care limbajul este acumulat, iar aceasta cercetare este in desfasurare la momentul actual.

In laboratorul meu, la care ne uitam acum, la MIT -- acesta este laboratorul media. Acesta este modul meu favorit de a face inregistrari video in aproape orice spatiu. Trei personaje cheie din acest proiect, Philip DeCamp, Rony Kubat si Brandon Roy apar aici. Philip a fost un colaborator apropiat in toate aceste vizualizari pe care le priviti. Iar Michael Fleischman a fost alt student la doctorat in laboratorul meu care a lucrat cu mine la aceasta analiza video a casei, iar el a facut observatia urmatoare: ca "exact modul in care analizam cum se conecteaza limbajul la evenimentele care ofera un context comun pentru limbaj, aceeasi idee o putem scoate din casa ta, Deb, si o putem aplica in lumea mediei publice". Asa ca efortul nostru a luat o intorsatura neasteptata.

Ganditi-va la mass media ca oferind acel ambient comun iar voi detineti reteta pentru a duce aceasta idee catre un nou nivel. Am inceput sa analizam continutul programelor TV folosind aceleasi principii -- analizand structura evenimentelor unui semnal TV -- episoade din seriale, reclame, toate componentele care formeaza structura evenimentelor. Asa ca acum, cu antene de satelit, extragem si analizam o buna parte din intreaga televiziune vizionata in Statele Unite. Iar in ziua de azi nu mai este nevoie sa mergi si sa instalezi microfoane in casele oamenilor pentru a asculta conversatiile oamenilor, trebuie doar sa te conectezi la retelele media sociale existente.

Asa ca extragem in jur de 3 miliarde de comentarii lunar. Iar apoi are loc ceva magic. Avem structura evenimentelor, terenul comun pentru toate cuvintele, venind direct din programele TV; avem conversatiile pe tema acestor subiecte; si prin analiza semantica -- iar acestea la care va uitati sunt date reale obtinute din procesarea noastra de date -- fiecare linie galbena arata o conexiune intre un comentariu facut de un telespectator si o bucata din structura evenimentului venind din semnalul TV. Si aceeasi idee acum poate fi construita. Obtinem din nou acest "wordscape", diferenta fiind acum ca nu asamblam cuvintele in sufrageria mea. In acest caz, contextul, terenul comun al activitatilor, este continutul programelor TV care initiaza conversatiile. Si ce vedem aici, acesti zgarie-nori, sunt comentarii pe baza programelor TV. Acelasi concept, dar ne uitam la dinamica in comunicatii intr-o sfera total diferita.

Si fundamental, in loc de exemplu, sa masuram continutul pe baza audientei, a numarului de telespectatori, avem aici datele de baza pentru a ne uita la proprietatile de implicare ale continutului. Si asa cum ne putem uita la buclele de control si dinamica intr-o familie, putem folosi aceleasi concepte pentru a ne uita la grupuri mult mai mari de oameni. Aceasta este o parte din baza noastra de date -- doar 50.000 din cateva milioane -- precum si graful social care le conecteaza prin intermediul unor surse accesibile public. Si daca le punem pe toate intr-un plan, un al doilea plan este locul unde exista continutul media. Unde avem programele TV si evenimentele sportive si reclamele, iar toate structurile relationale care le conecteaza creeaza un graf de continut. Iar apoi, cea de-a 3-a dimensiune importanta. Fiecare din legaturile pe care le vedeti aici este o conexiune facuta intre ceva spus de cineva si un fragment de continut media. Si avem acum zeci de milioane de astfel de legaturi care ne ofera un tesut conectiv de interactiuni sociale si modul in care se refera la continut. Iar acum putem analiza aceasta structura in moduri interesante.

Daca, de exemplu, urmarim traseul unei piese media care initiaza un comentariu al unui telespectator, iar apoi urmarim unde ajunge acel comentariu, si ne uitam la intreaga retea sociala care se activeaza iar apoi urmarim sa vedem relatia dintre acea retea sociala si continutul media, o structura foarte interesanta devine vizibila. Numim asa ceva o grupare de co-vizionare, o sufragerie virtuala, daca doriti sa o numim asa. Si aici au loc dinamici fascinante. Nu exista un sens unic. O piesa media, un eveniment, face pe cineva sa vorbeasca. Ei vorbesc cu alte persoane. Asta produce o concentrare a atentiei inapoi in mass media, si obtinem aceste bucle care propaga intregul comportament.

Alt exemplu, foarte diferit, o alta persoana din baza noastra de date -- si gasim cel putin sute, daca nu mii de astfel de cazuri. Am dat un titlu acestei persoane. Aceasta este un critic de media pro-amator, sau pro-am. care are o rata de propagare foarte mare. Deci, o multime de oameni urmaresc aceasta persoana, foarte influenta, iar ei au o inclinatie sa discute despre ce este la TV. Deci aceasta persoana este o legatura cheie in conectarea dintre mass media si media sociala.

Un ultim exemplu din acest set de date: Se intampla cateodata ca piesa de continut media sa fie elementul special. Si daca mergem si ne uitam la acest eveniment, discursul presedintelui Obama privind starea natiunii de acum cateva saptamani, si ne uitam sa vedem ce gasim in exact acelasi set de date, pe aceeasi scala, nivelul de implicare a telespectatorilor in aceasta piesa de continut media este pur si simplu remarcabil. O natiune explodand in conversatii in timp real ca raspuns a ceea ce se transmite la TV. Si bineinteles, prin toate aceste linii circula limbaj nestructurat. Putem face o radiografie si obtine pulsul in timp real al unei natii, sensul in timp real al reactiilor sociale in diverse circuite din reteaua sociala care sunt activate de continutul media.

Recapituland pe scurt, ideea este urmatoarea: Pe masura ce lumea devine tot mai echipata tehnologic si avem capabilitatile sa colectam si sa facem toate legaturile intre ce spun oamenii si contextul in care spun acele lucruri, obtinem treptat o abilitate de a descoperi noi structuri si dinamici sociale care nu au fost observate anterior. Este ca si cum am construi un microscop sau un telescop si am descoperi noi structuri ale comportamentului nostru in jurul comunicatiei. Si cred ca urmarile aici sunt profunde, fie ca este vorba de stiinta, de comert, de guvernare, sau probabil in primul rand, de noi ca indivizi.

Si ca sa revin la fiul meu, cand pregateam aceasta prezentare, el se uita peste umarul meu, si i-am aratat clipurile pe care intentionam sa vi le arat astazi, si i-am cerut permisiunea sa le folosesc -- am obtinut-o. Iar apoi am continuat: "Nu este uimitoare aceasta intreaga baza de date, toate aceste inregistrari, pe care vi le voi inmana tie si surorii tale?" -- care sosise pe lume doi ani mai taziu. "Iar voi veti putea sa mergeti inapoi in timp si sa retraiti clipe pe care niciodata, cu memoria biologica, nu vi le-ati putea aminti in modul in care puteti acum". Iar apoi a urmat un moment de liniste. Si mi-am zis: "Ce gandesc si eu? Are doar 5 ani. Nu are cum sa inteleaga asa ceva". Si chiar in timp ce gandeam asa, s-a uitat in sus la mine si mi-a zis: "Ca atunci cand cresc mare, sa pot sa arat astea copiilor mei?" Si m-am gandit: "Asta e tare".

Asa ca as vrea sa va las cu un ultim moment memorabil din familia noastra. Acest moment reprezinta prima data cand fiul nostru a facut mai mult de doi pasi unul dupa altul -- captat pe film. Si as dori sa va concentrati pe ceva anume in timp ce eu va arat filmul. Este un mediu dezordonat; este viata naturala. Mama mea este in bucatarie, gatind, si, din toate locurile, tocmai in hol, realizez ca e pe cale sa o faca, sa faca mai mult de doi pasi. Asa ca ma auziti incurajandu-l realizand ce se intampla, iar apoi minunea chiar se intampla. Ascultati cu mare atentie. Dupa trei pasi, el isi da seama ca ceva magic se intampla. Si cea mai uimitoare bucla de control este initiata, iar el trage aer in piept, si sopteste "wow" iar eu, instinctiv, spun acelasi lucru. Asa ca hai sa zburam inapoi in timp la acel moment memorabil.

(Video) DR: Hei. Vino incoace. Poti sa mergi? Oh. Poti sa mergi? Bebe: Da. DR: Mami, merge.

(Rasete)

(Aplauze)

DR: Va multumesc.

(Aplauze)