Deb Roy: Egy szó születése

Képzeljük el, mi lenne, ha rögzíthetnénk az életünket - mindent, amit mondtunk, mindent amit tettünk, mindezt egy bármikor elérhető, tökéletes memóriában tárolnánk, hogy később visszatekinthessünk az emlékezetes pillanatokra és újraélhessük őket, vagy végigpásztázhassunk bizonyos időszakokat, hogy felfedezzük saját életünk bizonyos visszatérő jellegzetességeit, amelyeket korábban nem ismertünk fel. Pontosan ez az a kaland, melybe a családommal belevágtunk öt és fél évvel ezelőtt. Ez itt a feleségem, Rupal, aki szintén részt vesz a kutatásban. Ezen a napon, ebben a pillanatban, léptünk be a házunkba az első gyermekünkkel, a gyönyörű kisfiúnkkal. Egy olyan házba léptünk be, amelynek egy nagyon különleges házi videó kamerarendszere van.

(Videó) Férfi: Rendben.

Deb Roy: Ezt a pillanatot és sok ezer más, számunkra különleges pillanatot rögzített a házunkban, mert a házunk minden egyes szobájában, ha felnéznek, láthatnak egy kamerát és egy mikrofont. Ha pedig lefelé tekintenek, láthatják a szoba képét madártávlatból. Ez itt a nappalink, a kisbaba hálószobája, konyha, étkező és a ház többi része. A videó felvételek egy olyan számítógépes lemezre kerültek, amelyet folyamatos rögzítésre terveztek. Végigpörgetjük a házunkban zajlott napi eseményeket napfelkeltétől, a kivilágított estéken át a sötét éjszakáig. Három éven keresztül napi 8-10 órányi felvételt készítettünk, ami nagyjából negyed millió órányi többsávos hang és képfelvételt jelent.

Szóval, amit ma láthatnak, az messze a legnagyobb házi videó gyűjtemény. (Nevetés) Amit ezek az adatok a családunk számára személyesen képviselnek, a hatásuk valójában felbecsülhetetlenül nagy, de minden nappal egyre jobban értékeljük. Számtalan pillanat, méghozzá nem várt, természetes, nem beállított pillanatok kerültek felvételre, és kezdjük megtanulni, hogyan fedezzük fel őket újra.

De volt ennek a projektnek egy tudományos oka is, amely során fel akartuk használni ezt az adathalmazt, hogy megérthessük azt a folyamatot amely során egy gyermek, méghozzá az én fiam - megtanulja a nyelvet - Így a magánszférát tiszteletben tartó korlátozásokkal, a felvett személyek adatainak védelmében, az adatok egy részét elérhetővé tettük az MIT egyetemen működő kutatócsoportom számára. Mindezt azért, hogy ebben a hatalmas adattömegben felismerhessük azokat a mintákat, melyek segítenek megérteni a társadalmi környezet nyelvelsajátításra gyakorolt hatását. Itt az egyik legelső próbálkozásunkat láthatják. Feleségemmel reggelit készítünk a konyhában. Egy nagyon mindennapos konyhai jelenetet láthatunk térben és időben haladva.

Annak érdekében, hogy ezt az elmosódott 90 000 órányi videót vizsgálhatóvá tehessük, mozgáselemzést használtunk, hogy láthatóvá tegyük, hogyan mozgunk térben és időben. Mi ezeket tér-idő kukacoknak nevezzük. Ez adta meg az eszközt ahhoz, hogy megláthassuk, hol vannak a fontos cselekmények az adatokban, majd ezzel nyomon követhettük különösen a fiamat, merre mozgott a házon belül, hogy így összpontosíthassunk az átírásra, a fiamat körülvevő beszédközegre -- minden egyes szóra, amit tőlem, a feleségemtől, vagy a bébiszittertől hallott, illetve egy idő után a szavakra, amiket ő alkotott. Szóval a technológiával és az adatokkal, és azzal a képességgel, hogy számítógépes segítséggel leírhatjuk a beszédet, több mint 7 millió otthonunkban elhangzott szót írtunk le. Hadd kalauzoljam végig önöket az adatok világába vezető első utunkon.

Biztos vagyok benne, hogy mindannyian láttak már gyorsított videó felvételeket, például ahogy egy növény gyorsítva kivirágzik. Szeretném megmutatni, milyen a beszéd kivirágzása. A fiam nem sokkal az első születésnapja után a "gaagaa" szót kezdte használni a water, azaz a víz szóra. A következő fél év során, lassan megtanulta, hogy megközelítse a helyes felnőtt formát: "water". Tehát most végigrepülünk egy fél éven mintegy 40 másodperc alatt. Itt nincs videó, hogy a hangra és az akusztikára összpontosíthassunk, milyen pályát írt le ez a szóképzés: a gaga hogy vált "water"-é.

(Hang) Baba: Gagagagaga Gaga gaga gaga guga guga guga wada gaga gag guga gaga wader guga guga water water water water water water water water water.

DR: Csak eltalálta, nem?

(Taps)

Persze nem csak a víz szót tanulta meg. Íme a 24 hónap, azaz az első két év, amire nagyon összpontosítottunk, ez az elsajátított szavainak térképe időrendi sorrendben. Mivel megvan a teljes szöveg leirat, felismertük mind az 503 szót, amit a 2. születésnapja előtt tanult meg kiejteni. Korán kezdett beszélni. Ezután azt kezdtük vizsgálni, miért. Miért születtek meg bizonyos szavak előbb, mint mások? Ez a legkorábbi eredményeink egyike, amit körülbelül egy éve hoztunk nyilvánosságra, és bennünket is meglepett. Ezt a látszólag egyszerű grafikont úgy értelmezzük, hogy a függőleges mutató azt jelzi, hogy hosszuk alapján, milyen összetettségűek ezek a gyerekfelügyelők általi megnyilvánulások. A függőleges az idő tengelye.

Minden adatot a következő elgondolás mentén rendeztük: Valahányszor a fiam egy szót tanul, visszamenőlegesen nyomon követjük, megnézzük, addigi nyelvtanulása során mikor hallotta a szót. Fel szeretnénk térképezni, mi a hangképzések relatív hossza. Rájöttünk arra, hogy létezik egy olyan jelenség, mely során a gyerekhez való beszédmód szisztematikusan és a lehető legnagyobb mértékben leegyszerűsödik, a későbbiek folyamán pedig lassan és fokozatosan újra összetetté válik. Az volt a csodálatos, hogy az ugrás, az a hiátus szinte egy az egyben igazodott az egyes szavak születéséhez -- sorjában, szisztematikusan. Az derült ki tehát, hogy mind a három elsődleges gyermekfelügyelő -- én, a feleségem és a dajkánk -- mindannyian szisztematikusan, és mondhatnám önkéntelenül átstrukturáltuk a nyelvünket oly módon, hogy idomuljunk a gyerekhez az új szavak születésekor és finoman bevezessük az összetettebb nyelvbe. Ennek következménye - sok van, de amit ki szeretnék emelni, az, hogy elképesztő visszajelző hurkok működnek (ebben a folyamatban). A fiam természetesen a nyelvi környezetén keresztül tanul, de a környezet is tanul tőle. A környezete, az emberek, ebben a szoros visszajelző hurok rendszerben, egyfajta mankóul szolgálnak, és ezt eddig nem vettük észre.

Ennyit tehát a beszéd kontextusáról. Hogy állunk a vizuális kontextussal? Ezt nem (közvetlenül, nem ránézésre) vizsgáljuk -- mondjuk, hogy ez a házunktól elkülönített babaház. Halszem-objektívvel ellátott kamerával dolgoztunk, végeztünk némi optikai korrekciót, hogy három dimenzióssá tehessük. Üdvözöljük otthonunkban! Ez egy perc, különböző kamerák által együttesen rögzítve. Mindezt azért csináltuk, hogy létrehozzuk a mindenkori memóriagépet, mellyel visszamehetünk, és interaktív módon repülhetünk majd videó-életet lehelhetünk a rendszerbe. Most pedig egy 30 perces felgyorsított felvételt mutatok, mely ugyancsak a nagyszobában készült. Ez a fiam és én a földön. Videós analitika követi nyomon a mozgásunkat. A fiamat jelöli a vörös, engem a zöld. Most a kanapén vagyunk, a kint elsuhanó kocsikat nézzük. Itt pedig végül a fiam, amint magában játszik.

Most kimerevítjük a képet, 30 perc, megnézzük az időt a függőleges tengelyen, és várjuk, mit mutatnak az épp folytatott tevékenységek jelzései. Látjuk ezeket a csodálatos szerkezeteket -- a két színes fonalra kötött kis csomót, amit mi társas forró pontnak nevezünk. A spirál-szerű fonalat szóló forró pontnak nevezzük. Úgy látjuk, ez az, ami befolyásolja a nyelvtanulást. Igazán szeretnénk megérteni, milyen viszonyban vannak ezek a minták a fiam által használt nyelvvel, hogy lássuk, vajon meg tudjuk-e mondani előre, hogy a hallott szó szerkezetének van-e hatása arra, ahogy tanulja -- más szóval a szavak közötti viszonyra és a világban betöltött szerepükre.

Így közelítjük tehát meg: Ebben a videóban is a fiamat követjük nyomon. A vörös "tinta" őt jelöli. A dajkánk az ajtónál áll.

(Videó) Dajka: Akarsz vizet? (Bébi: Aaaa) Dajka: Jó (Bébi: Aaaa)

DR: Vízzel kínálja, és a két "kukac" a konyhába megy vízért. Azt csináltuk, hogy a "water" szót használva felcímkéztük ezt a percet, ezt a cselekvési mozzanatot. Most pedig vesszük az adatokat, és megnézünk minden egyes alkalmat, amikor a fiam előtt elhangzott a water szó, és az elhangzott szövegkörnyezetet, és áthatolunk a videón, és megkeressük az összes ilyen esetet, melyben előfordul a water szó. Amit ez az adat közöl velünk az egyfajta tájkép. Szótájképnek nevezzük. Ez a water szó szótájképe, és láthatjuk, hogy a hozzáfűződő tevékenységek zömmel a konyhában zajlanak. A baloldali csúcsok jelzik ezeket. Összehasonlításképpen mondom, ez bármilyen más szóval is elvégezhető. Vegyük például a "bye" szót, ami a "good bye" része. Ez most a házunk bejárata, csak fel van nagyítva. Ha megnézzük, észrevesszük, hogy, ahogy arra számíthattunk is, az előzővel ellentétben, ez, melyben a "bye" szó szerepel, sokkal rendezettebb. Elkezdünk ezekkel a szerkezetekkel dolgozni, hogy megjósoljuk a nyelv elsajátításának menetét, ez pedig mostantól folyamatos munkát jelent.

A labor, melybe most bekukucskálunk az MIT-n, itt a médialabort láthatjuk. Ez lett a kedvenc video-gráfiás módszerem, bármilyen térről legyen szó. A projektben résztvevő három kulcsfontosságú személy, Philip DeCamp, Rony Kubat és Brandon Roy jelenik itt meg. Philip-pel nagyon szorosan együttműködtünk, minden itt látható vizualizációnál. Michael Fleischman pedig egy másik PhD-s diák a laboromban, akivel a házi-videó elemzéskor dolgoztam együtt, és az volt a megfigyelése, hogy "azt az elgondolást, hogy a nyelv eseményekhez fűződő viszonyát elemezzük, annak érdekében, hogy a nyelv alapjait vizsgáljuk, kivihetnénk az otthonodból, Deb, és alkalmazhatjuk a nyilvános média világában is." Erőfeszítéseink váratlan fordulatot vettek.

Gondoljunk csak a tömegmédiára, mely szintén egy közös alapot szolgáltat, és a recept nálunk van arra, hogy ezt az elgondolást egy teljesen új területen használjuk. Elkezdtünk televíziós tartalmak elemzésével foglalkozni, ugyanennek az elvnek a felhasználásával -- a TV-szignálok esemény rendszerének elemzésével -- show műsorok epizódjaival, reklámokkal, az eseményeket felépítő elemekkel. Most meg itt állunk műhold vevőkkel felszerelve, ízekre szedjük, úgy elemezzük az Egyesült Államok összes adását. Ehhez még csak fel sem kell szerelni a nappalit mikrofonokkal, hogy meglegyen az emberek beszélgetése, egyszerűen nyilvános társadalmi média-adásokra hangolódunk rá.

Havonta körülbelül három milliárd hozzászólást húzunk be a rendszerünkbe. Aztán megtörténik a csoda. Megvan az esemény szerkezete, a televíziós adásból adódó szavak közös alapja, megvannak a beszélgetések az adott témákban; és jelentéstani vizsgálattal, nem mellesleg felhasználásra került valós adatokkal -- minden egyes sárga sor egy a "vadonban" tett megjegyzés, és a televíziós jelből kivilágló eseményszerkezet darabja közötti összefüggést mutatja. A korábban említett elvre építünk. Ezt a szótájképet kapjuk, annyi különbséggel, hogy a szavak ezúttal nem a nappalimban hangzanak el. Ehelyett a környezet, az események közös talaja a televíziós adásban elhangzott beszélgetések tartalma. Az itt látható felhőkarcolók pedig a megjegyzések, melyek a televízióban elhangzott tartalomhoz köthetők. Az elgondolás ugyanaz, de a kommunikációs dinamizmust nagyon különböző légkörben vizsgáljuk.

Alapvetően tehát, ahelyett, hogy például a nézettség alapján mérnénk a tartalmat, így olyan alapadatokhoz jutunk, melyek a tartalom tulajdonságaihoz kapcsolódnak. Ugyanúgy, ahogy eddig visszajelzések körforgását, családok dinamikáját vizsgáltuk, úgy most ugyanilyen elv alapján egy sokkal nagyobb embercsoportot is vizsgálhatunk. Ez az adatbázisunk egy részhalmaza -- több millióból mindössze 50 000 -- nyilvánosan elérhető forrásokon keresztül kapcsolódnak egymáshoz, ebben a szociális grafikonban. Ha egy síkba helyezzük őket, a tartalom egy második síkban érvényes. Ott vannak tehát a programok, a sportesemények, a reklámok, és az összes őket összekötő kapcsolati struktúra, mely a tartalmi grafikont adja. A harmadik dimenzió is fontos. Minden itt látható, egymáshoz rendelt kapcsolat, tulajdonképpen nem más, mint valami, amit valaki mondott, és valamilyen tartalom. Ismétlem, több tízmillió ilyen kapocs van, ami a szociális grafikonok kötőszövetét képzi, és ami a tartalomhoz való kapcsolatukat adja. Elkezdhetjük tesztelni a szerkezetet ezzel az érdekes módszerrel például.

Tegyük fel, hogy a tartalom egy szeletének útvonalát akarjuk nyomon követni, mely valakit megjegyzések tételére késztetett, s akkor azt is nyomon követjük, hogy a megjegyzés merre tart, majd az egész szociális grafikont látjuk, ahogy mozgásba lendül és vissza tudunk térni oda, hogy mi a kapcsolat a szociális grafikon és a tartalom között, és egy nagyon érdekes szerkezet bontakozik ki. Együttesen megtekintő klikk-nek nevezzük, virtuális nappalinak, ha úgy tetszik. Lenyűgöző dinamika zajlik, ha megfigyeljük. Nem egyirányú. Egy tartalom-foszlány, egy esemény valakit beszédre késztet. Egymáshoz beszélnek. A beszélgetésre hangoló viselkedés pedig visszakanyarodik a tömegmédiához, és így körforgás alakul ki, ami serkenti a viselkedés összességét.

Egy másik példa -- mely merőben más -- egy adatbázisunkban lévő másik személy, és legalább száz ilyen van, ha nem ezer. Adtunk neki egy nevet. Egy amatőr-párti, vagy pro-am médiakritikus, aki nagyon nagy népszerűségre tett szert. Szóval sokan képben vannak ezt a személyt illetően -- nagyon nagy hatású -- és hajlamosak arra, hogy beszéljenek arról, ami a TV-ben van. Ez a személy tehát kulcsszerepet játszik a tömegmédia és a szociális média összekapcsolásában.

Az utolsó ilyen adat: Néha csak egy tartalomfoszlány az, ami figyelemreméltó. Ha tehát ezt a tartalom-foszlányt kezdjük vizsgálni, Obama elnöknek az Egyesült Államokbeli felszólalását csak néhány héttel ezelőttről, nézzük, mi az, amit ugyanebben az adathalmazban találunk, ugyanezen a skálán, a tartalom-foszlány tulajdonságai közti kapcsolat valóban figyelemre méltó. Egy egész nemzet beszélni kezd élőben az adásra válaszolva. A sorokat követve semmilyen rendszer nem fedezhető fel a nyelvben. Megröntgenezhetjük, s akkor esetleg megkapjuk a nemzet aktuális pulzusát, a szociális grafikon különböző áramköreinek a tartalom által kiváltott társadalmi reakcióit.

Összefoglalásképpen elmondhatjuk tehát, hogy az elgondolás a következő: Ahogy a világ technikailag egyre felszereltebb, képesek leszünk arra, hogy összegyűjtsük mindazt, ami az emberek között elhangzott, és összekössük a szövegkörnyezettel, és ez segít bennünket abban, hogy új, eddig felfedezetlen társadalmi szerkezeteket és mozgásokat lássunk meg. Ezt egy mikroszkóp vagy teleszkóp megépítéséhez lehet hasonlítani, ahhoz, hogy új szerkezeteket fedezünk fel, melyek a kommunikációnk körüli viselkedésünket érintik. Azt gondolom, a következmények mélyrehatóak, legyenek azok tudományosak, kereskedelmiek, államiak vagy, ami talán mindannyiunkat érint, individuálisak.

A fiamra visszatérve, amikor erre az előadásra készültem, ő átnézett a vállamon, én megmutattam neki ezeket a bemutatásra kerülő videó felvételeket, kértem a jóváhagyását - megadta. Azt is tudtára adtam, hogy "Ez a hatalmas adatbázis, ez az egész felvétel-sorozat valami csodálatos, az egészet meg fogjátok kapni, te és a húgod," aki két év elteltével született. "Nektek megadatik majd a lehetőség, hogy visszatekintsetek olyan pillanatokra, amelyekre a biológiai memóriátokkal valószínűleg soha nem lennétek képesek, és ezeket a perceket mind újra átélhetitek." Egy percig csendben figyelt. Én meg arra gondoltam, "Mit nem képzelek? Hiszen még csak öt éves. Nem fogja megérteni, miről van szó." Ahogy ez járt éppen a fejemben, felnézett rám, és megszólalt: "Szóval, ha én felnövök, megmutathatom a gyerekeimnek?" És akkor belém hasított: "Nahát, ez kemény dolog."

Végezetül hadd mutassak Önöknek egy utolsó emlékezetes pillanatot a családi életünkből. Itt történt meg az, hogy a fiúnk első alkalommal tett meg egyszerre több mint két lépést -- és meg lett örökítve. Szeretném, ha közben valamire összpontosítanának. Zsúfolt környezet; természetes életközegben. Anyám a konyhában főz, és látni, hol máshol, mint éppen az előszobában, azon van, hogy megtegye, hogy megtegyen több, mint két lépést. Hallani lehet a hangomat, ahogy biztatom, amint rájövök, hogy mi történik, és akkor egyszerre csak megtörténik a csoda. Nagyon figyeljenek! Körülbelül három lépés után felfogja, hogy valami csodálatos dolog történik. És az eddigi legbámulatosabb visszajelzést adja, mély levegőt vesz, és halkan mondja "wow" én pedig ösztönösen visszhangzom ezt a "wow"-t. Siessünk vissza időben ehhez az emlékezetes perchez.

(Videó) DR: Hé, Gyere ide. Na, sikerülni fog? Ó, fiam. Sikerülni fog? Bébi: Igen. DR: Anya, jár a gyerek!

(Nevetés)

(taps)

DR: Köszönöm.

(Taps)