Deb Roy: Bir kelimenin doğuşu

Bir an yaşantınızı kaydedebileceğinizi düşünün -- söylediğiniz her şeyi, yaptığınız her şeyi, hepsi elinizi uzatarak ulaşabilceğiniz kusursuz bir bellekte saklı, böylece geri dönüp anımsamaya değer olayları bulup yeniden yaşayabilir, ya da zamanı eşeleyerek hayatınızla ilgili daha önce keşfetmediğiniz farklı kalıplar keşfedebilirsiniz. Bu, tam olarak benim ailemin beş buçuk yıl önce giriştiği yolculuğun tanımı. Bu benim eşim ve destekçim, Rupal. Ve bu gün, tam da bu anda, kucağımızda ilk çocuğumuzla evimize girdik, harika bir erkek bebek. Girdiğimiz ev özel bir video düzeneği ile donanmış bir evdi.

(Video) Adam: Tamam.

Deb Roy: İşte bu an ve biim için önemli olan binlerce diğer an evimizde kaydedildi çinkü evdeki her odada eğer yukarı bakarsanız görebileceğiniz bir kamera ve mikrofon sistemi var eğer yukarıdan bakacak olursanız, tüm odayı balık gözü şeklinde görebilirsiniz. Burası bizim oturma odamız, burası bebek odası, mutfak, yemek odası ve evin diğer kısımları. Bu verilerin tamamı, sürekli gorüntü alabilecek biçimde tasarlanmış bir dizi diske kaydedildi. Burada, evde geçen bir günü hızlı bir şekilde görüyoruz sabahın ilk ışıklarından başlayıp aydınlatılmış akşama ve sonunda gecenin karanlığına kadar. Üç yıl boyunca, günde sekiz ila on saat arası kayıt yaptık, yaklaşık 250.000 saatlik çok kanallı ses ve görüntü kaydı.

Yani, eğer gelmiş geçmiş en büyük ev videoları koleksiyonunu arıyorsanız o burada. (Gülüşmeler) Bu verinin bizim ailemiz için kişisel seviyedeki anlamı zaten çok yoğun oldu ve ne kadar değerli olduğunu fark etmeye devam ediyoruz. Sayısız an poz verilmemiş, ayralanmamış doğal anlar burada kayda alındı, ve bizler bunları nasıl keşfedeceğimizi ve bulacağımızı yeni yeni öğreniyoruz.

Ama bu projeye ivme veren bir bilimsel neden de var, o da bu dikey veriyi kullanarak bi çocuğun konuşmayı öğrenme sürecini nasıl anlayabiliriz -- ki buradaki çocuk benim oğlum. Böylece, kayıtların içinde yer alan kişilerin özel hayatını koruyacak pekçok önlemden sonra, bu verinin bileşenlerini MIT'deki güvenilir araştırma ekibimle paylaştık, böylece bu yoğun veri setini inceleyerek, içindeki şablonları ayıklayarak dil öğrenme sürecindeki sosyal çevrenin etkisini anlamaya başlayabildik. Burada gördüğümüz şey ilk yapmaya başladığımız şeylerden biri. Bu eşim ve mutfakta kahvaltı hazırlıyor. Zaman ve mekan içinde hareket ederken, mutfakta günlük bir şablon var.

Bu 90.000 saatlik videoyu birşeyler görebileceğimiz hale getirebilmek için hareket analiz noktaları yerleştirdik, böylece zaman ve mekanda hareket ettikçe zaman-mekan solucanı dediğimiz şeyler ortaya çıkıyor. Bu, bizim verinin içinde nerede aktivite olduğunu görmemize yarayan bir yöntem oldu, bununla, özellikle de oğlumun evin içindeki hareketinin izini çıkarıyoruz, böylece kayıt çabalarımızı oğlumun etrafında oluşan konuşma ortamına odaklayabiliyoruz -- benden, eşimden ya da dadısından duyduğu tüm kelimeler, ve zaman içinde onun üretmeye başladığı kelimeler. Elimizdeki bu teknoloji, veri ve makina yardımı ile konuşmayı kaydetme yetisi aracılığı ile, ev ortamımızdaki kelimelerden yedi milyondan fazlasını kayda almayı başardık. Bu verinin içindeki ilk tura sizi götürmeme izin verin.

Eminim hepiniz time-lapse videolar seyretmişssinizdir, hani bir çiçek açarken çekilen ve hızlı oynatılan videolardan. Şimdi ise sizlerin bir dilin ortaya çımasına şahit olmanızı istiyorum. Oğlum, birinci yaşgününden hemen sonra su (water) yerine "gaga" demeye başladı. Ve bunu takiben altı ay içinde de yavaş yavaş yetişkin formu olan "su" (water) kelimesini geçiş yaptı. Şimdi bu altı aylık süreyi yaklaşık 40 sn içinde göreceğiz. Burada video yok, böylelikle sese ve akustiklere odaklanabilirsiniz, gaga'dan su (water)'a yeni bir rota.

(Ses kaydı) Bebek: Gagagagaga Gaga gaga gaga guga guga guga wada gaga gaga guga gaga wader guga guga water water water water water water water water water. (su)

DR: Sonunda becerdi, değil mi?

(Alkışlar)

Sadece su'yu değil, başka şeyleri de öğrendi. 24 ay boyunca, ilk iki yıl süresince, gerçekten iyi odaklandık, bu öğrendiği her kelimenin tarihsel sıralaması. Elimizde tüm kayıtlar olduğu için ikinci yaşgününe dek söylemeyi öğrendiği bu 503 kelimeyi tek tek saptayabildik. Erken konuşan bir çocuk. Biz de nedenleri araştırmaya başladık. Neden bazı kelimeler diğerlerinden önce öğreniliyor? Bu vardığımız sonuçlardan ilki, araştırmamızda bir sene kadar önce saptadık ve bizi epey şaşırttı. Bu basit görünen grafiği anlamak için şu önemli dikey eksende bakıcının konuşmasındaki karmaşıklık gösteriliyor. bunu tekrarların sayısına göre işaretledik. yatay eksen ise zamanı gösteriyor.

Buraya yerleştirdiğimiz tüm veriler şu fikre dayalı: Oğlum her bir yeni kelimeyi öğrendiğinde, zamanda geriye gidip duyduğu konuşmalar içinde o kelimeyi arıyoruz. Ve o kelimenin kaç kere tekrarlandığını kaydediyoruz. Bunun sonucunda şöyle ilginç bir şey bulduk, bakıcının konuşması önce en aza iniyor, dili olabildiğince basit hale getiriyor, daha sonra yavaş yavaş karmaşıklığı artırıyor. İnanılmaz olan şey ise bu çukur noktanın hemen hemen her bir kelimenin doğuşu ile eş zamanlı ortaya çıkması -- kelime kelime, düzenli bir şekilde bu oldu. Görünen o ki, oğlumun üç bakıcısı da -- yani ben, eşim ve dadımız -- sistematik olarak, ve sanırım bilinçaltımızda konuştuğumuz dili yeniden yapılandırıyor ve onunla bir kelimenin doğuşunda aynı seviyeye iniyor sonra onu daha karmaşık dil yapısına taşıyoruz. Bunun sonuçları ise -- ki birden fazlalar, ama bir tanesini hemen göstermek istiyorum, bu sürecin içinde inanılmaz geri bildirim döngülerinin varlığı. Elbette, oğlum çevresindeki dilden zengin ortamdan öğreniyor, ama o ortam da ondan öğreniyor. Bu sıkı geri bildirim döngüsündeki çevre, çevredeki insanlar, ve böylesine bir yapı şimdiye dek fark edilmemişti.

Bu kısma kadar konuşmanın içeriğine baktık. Peki ya görsel içerik? Ona bakmıyoruz -- bunun evimizim oyuncak ev kesiti olduğunu varsayın. Şu dairesel balık gözü kameralardan aldık ve biraz optik düzeltme yaparak görüntüleri üç boyutlu hale getirdik. Evime hoş geldiniz. Bu gördüğünüz an, birden fazla kamera tarafından kaydedilmiş bir an. Bunu yapmamızdaki neden, en yetkin hafıza makinasını yaratmak idi, zamanda geri gidebileceğiniz ve interaktif olarak içinde gezinebileceğiniz canlı görüntüler oluşturmak istedik. Şimdi size, sadece oturma odasındaki yaşantımızdan hızlandırılmış bir 30 dk'lık kesit göstereceğim. Bu benim, ve yerde de oğlum var. Bunlar da hareketlerimizi izleyen video analiz cihazları. Oğlum görüntüde kırmızı iz bırakıyor, benimki ise yeşil. Şimdi koltuktayız, camdan dışarıdan geçen arabalara bakıyoruz. Sonrasında da oğlum kendi kendine yürüyen bir oyuncakla oynuyor.

Burada hareketi donduralım, 30 dakikalık hareket, ve zamanı dikey eksene çevirelim, ve bu birbirimizle etkileşim izlerimizi incelemeye açalım. Burada müthiş bir yapı görüyoruz -- bu iki rengin birbiri ile iç içe girip düğümlendiği noktalara sosyal sıcak noktalar diyoruz. Bu spiral ize ise yalın sıcak nokta diyoruz. Bu noktaların, dil öğrenme sürecimizi etkilediği görüşündeyiz. Yapmak istediğimiz bu şablonlar arasındaki iletişimi, ya da oğlumun deneyimlediği konuşmaları anlamaya çalışmak ve böylece kelimelerin duyulduğu zamanın öğrenildiği zamanı ne şekilde etkilediğini öngörebilirmiyiz anlamak. bir diğer deyişle, kelimeler ve dünyada taşıdıkları anlam arasındaki ilişkiyi gözlemek.

Bu duruma şöyle yaklaşıyoruz. Bu videoda, oğlumun bıraktığı izi görebiliyorsunuz. Kırmızı bir iz bırakıyor. Kapıda gördüğünüz dadımız.

(Video) Dadı: Su mu istiyorsun? (Bebek: Aaaa.) Dadı: Tamam. (Bebek: Aaaa.)

DR: Ona su veriyor, ve iki solucanın mutfağa, su almaya yöneldiğini görüyorsunuz. Bizim yaptığımız "su" kelimesi ile o anı, o aktiviteyi etiketlemek. Şimdi verinin gücünü kullanıyoruz ve oğlumun "su" kelimesini duyduğu her anı ve "su"yu gördüğü her bir anı alıyoruz ve bu anları video kaydı üzerinde kesiştirerek su ile ilgili olan eş zamanlı gerçekleşmiş her tür aktivite izini bulabiliyoruz. Bu veri, derlenmesinin sonunda bir yüzey şekli oluşturuyor. Bunlara kelime-haritaları adını taktık. Bu gördüğünüz su kelimesinin kelime haritası, çoğu hareketin mutfakta olduğunu görebilirsiniz. Şu soldaki yüksek tepeler mutfakta. Karşılaştırma için bunu herhangi bir kelime için yapabiliriz. Mesela "hoşçakal" kelimesini alalım, "hadi hoşçakal"daki gibi. Şimdi gördüğümüz yer evin giriş kapısı. Ve baktığımızda, tahmin ettiğiniz gibi "hoşçakal" kelimesinin daha sıklıkla yapısal olarak kullandığı yerin farklı olduğunu görüyoruz. Biz, bu yapıları dil öğrenme basamaklarını öngörmede kullanıyoruz, bu halen devam eden bir süreç.

Benim laboratuvarımda, ki şu an ona bakıyoruz, MIT'de -- burası medya laboratuvarı. Herhangi bir mekanın bu tip videografını çekmek benim en sevdiğim yöntem haline geldi. Bu projede çalışan üç kilit isim var, Philip DeCamp, Rony Kubat ve Brandon Roy, burada resimde görüyorsunuz. Phillip, izlediğiniz görüntülemeler konusunda çok katkıda bulundu. Laboratuvarımdaki bir başka doktora öğrencisi olan Michael Fleishman ise ev videolarının analizinde benimle çalıştı, ve şu gözlemini benimle paylaştı: "Senin evinde, konuşmanın, bir dilin oluşmasına zemin hazırlayan olaylarla bağlantısını incelerken kullandığımız yöntemi evin dışında da kullanabiliriz Deb, bunu kamusal medya ile de yapabiliriz." Böylece çalışmalarımız beklenmedik bir yöne kaydı.

Medya'nın orta bir payda yarattığını ve sizin de elinizde bu fikirleri yeni bir yerlere taşıyacak bir reçete olduğunu düşünün. Aynı prensipleri kullanarak televizyon programlarının içeriklerini incelemeye başladık -- TV sinyalinin içindeki olayların yapısı -- dizilerin bölümleri, reklamlar, ve bir olay yapısını ortaya çıkaran tüm bileşenler. Ve şu anda, uydu antenleri sayesinde, Amerika'da seyredilen TV programlarının büyük çoğunluğunu analiz edebiliyoruz. İnsanların konuşmalarınıa kaydedebilmek için oturma odalarına girip oralara mikrofon döşemenize gerek kalmıyor, sadece kamuya açık olan sosyal medya verilerine ulaşmanız yeterli.

Şu anda ayda yaklaşık 3 milyar yorum indiriyoruz. Sonra büyülü bir şey oluyor. Elinizde bir olay yapısı mevcut, kelimelerin içerikleri ile ilgili ortak bir yapı, televizyon yayınlarından geliyor; bu konularla ilgili karşılıklı konuşmalar da var; ve kelime analizleri ile -- ki şu anda bizim gerçekten üzerinde çalıştığımız bir veriye bakıyorsunuz -- her bir sarı çizgi ortaya yapılan bir yorum ile televiyon yayınlarından gelen program yapısı arasındaki bağlantıyı oluşturuyor. Şimdi aynı fikri buraya da uygulayabiliriz. Böylece bu kelime haritasını elde ediyoruz, tek farkı artık kelimelerin benim oturma odamla sınırlı olmaması. Onun yerine, içerik, ortak aktivitelerden değil televizyon programlarının içerdiklerinden ortaya çıkıyor. Burada gördüğümüz bu gökdelen benzeri yapılar televiyon programlarının içerikleri ile bağlantısı olan yorumlar. Aynı fikir, ama farklı bir boyuttan iletişim dinamiklerine bakıyor.

Temelde, örneğin, içeriği kaç kişinin izlediğine bakarak ölçümlemek yerine, içeriğin ortak özelliklerine bakmak bize daha temel bir veri sunuyor. Aynı bir ailenin içindeki geri bildirim döngülerine ve dinamiklere bakmak gibi. Artık aynı kavramları açarak çok daha büyük insan gruplarına bakabiliriz. Bu bizim veri bankamızdan bir alıntı -- birkaç milyon veri içinden sadece 50.000 tanesi -- ve kamuya açık kaynaklar aracılığı ile elde edilen onları birbirine bağlayan sosyal grafik. Bunları bir düzleme koyarsanız, diğer düzlem içeriklerin bulunduğu yerdir. Burada programlar, spor programları, ve reklamlar var, ve birbirleri ile olan bağlantıları, onları şekillendirerek bir içerik grafiği oluşturuyor. ve çok önemli bu üçüncü boyutu. Burada gördüğünüz her bir bağlantı bir kimsenin söylediği bir şey ile içerikler arasındaki gerçek ğlantıları gösteriyor. Burada da öyle, onlarca milyon bağlantı sosyal grafiklerin bağ dokusunu oluşturuyor ve içerikle olan bağlantılarını gösteriyor. Artık bu yapıyı ilginç şekillerde kurcalayabiliriz.

Örneğin, biri tarafından yorum yapılmış bir içeriğin bağlantısını takip edelim ve bakalım o yorum nereye gidiyor, daha sonra aktif hale gelen tüm sosyal grafiğe bakalım ilk içerik ile sosyal grafik arasındaki ilişkinin sınırlarını izleyelim, çok ilginç bir yapı ortaya çıkıyor. Biz buna eş-zamanlı izlem grubu diyoruz, bir nevi sanal oturma odası. Ve burada inanılmaz dinamikler iş başında. Tek yönlü değil. Bir içerik, bir olay, birilerinin konuşmasına neden oluyor. Onlar da başka insanlarla konuşuyorlar. Bu durum, kitle iletişim araçlarında belirli bir davranışa neden oluyor ve toplu davranışları yöneten döngüleri görebiliyorsunuz.

Bir başka örnek -- oldukça farklı -- bizim veri tabanımızdaki gerçek bir insan -- ve bunlardan yüzlerce hatta balki de binlercesini buluyoruz. Bu kişiye bir isim verdik. Bu yarı profesyonel amatör, bir medya eleştirmeni ve gittikçe yayılan bir popülerliği var. Bu nedenle pek çok kişi bu kişiyi takip ediyor -- çok etkili birisi-- ve genelde de TV'de olan şeyler hakkında konuşmaya eğilimliler. Bu kişi, anahtar kitle iletişim araçları ile sosyal iletişim araçlarını birlşetiren kilit bir konumda.

Bu verilerden son bir örnek daha vermek istiyorum. Bazen, içeriğin bir parçası gerçekten de çok özel ve önemlidir. O zaman gidip bu bileşeni aramaya koyuluruz. Başkan Obama'nın birkaç hafta önce yaptığı Ulusa Sesleniş konuşması, bakın bu veri dizisinde ne bulduk, aynı oranda, bu içeriğin birleştirici özelliği gerçekten de takdire değerdi. Gerçek zamanlı olarak bir ulus yapılan yayına cevap olarak inanılmaz bir şekilde iletişime geçti. Ve tüm bu satırlar içinde yapılanmamış bir dil akışı var. Bir röntgen çeker gibi bir ulusun gerçek zamanlı nabzını sosyal grafikteki farklı devreler içinde içerikle aktive olan farklı sosyal tepkilere bakarak gerçek zamanlı olarak ölçebiliriz.

Özetleyecek olursak, ana fikir şu: Dünyamız gittikçe artan bir şekilde cihazlarla donanırken, bizler insanların söylediği şeyleri ve bunları hangi içerikte söylediklerini toplayacak ve noktaları birleştirecek imkana sahibiz. Şu anda gelişmekte olan şey ise daha önce görülmemiş, yeni sosyal yapılar ve dinamikler görmek. Bu bir mikroskop ya da teleskop yapmak gibi birşey kendi davranışlarımız ve aramızdaki iletişimimiz hakkında yeni yapılar ortaya çıkarmak. Ve bence bunun sonuçları da çok yoğun, ister bilim için olsun, ister ticaret ya da devlet için, ya da en önemlisi, bizler, bireyler için olsun.

Tekrar oğluma dönecek olursak, ben bu konuşmayı yaparken, omuzumun üzerinden bakıyordu, ben de ona, size bugün göstereceğim klibi gösterdim. ve ondan iznini istedim -- ve aldım da. Daha sonra da ona dedim ki, "Bu müthiş bir şey değil mi? bu verinin tamamı, tüm bu kayıtlar, bunları sana ve kızkardeşine vereceğim," kızkardeşi iki yıl sonra doğdu. "Ve sizler de zamanda geri gidip, biyolojik hafızanızla asla anımsayamayacağınız, ya da şimdiki gibi anımsayamayacağınız özel anları yeniden deneyimleyebileceksiniz." Bir an sessizce durdu. Ben de kendi kendime "Ne düşünüyordum ki? O sadece beş yaşında. Bunun ne anlama geldiğini anlayamaz." dedim. Tam ben bunları düşünürken, bana baktı ve dedi ki, "Yani ben büyüdüğümde, bunu çocuklarıma gösterebilir miyim?" O zaman "Bu gerçekten de çok güçlü bir şey" diye düşündüm.

Bu nedenle sizi bizim ailemizin en öenmli anılarından sonuncusu ile başbaşa bırakıyorum. Bu, oğlumuzun iki adımdan uzun yürümeyi becerdiği anın kaydı. Ve bunu izlerken bir şeye dikkat etmenizi istiyorum. Bu gördüğünüz karmaşık bir ortam; doğal bir hayat. Annem mutfakte, yemek pişiriyor, ve bütün ev dururken, koridorda oğlumun iki adımdan fazla atacağını fark ediyorum. Beni, onu yüreklendirmeye çalışırken duyacaksınız, ne olduğunu farketmiş durumdayım, derken büyülü bir şey oluyor. Dikkatli dinleyin. Hemen hemen üçüncü adımda, oğlum da büyülü bir şey olduğunu fark ediyor. ve en inanılmaz geri bildirim döngülerinden biri devreye giriyor, derin bir nefes alıyor ve fısıldıyor "Vay be!" ben de dürtüsel olarak aynı şeyi tekrarlıyorum. Şimdi zamanda geri gidelim ve bu unutulmaz anı görelim.

(Video) DR: Hey. Buraya gel. Becerebilir misin? Hadi oğlum. Becerebilir misin? Bebek: Evet. DR: Anne, yürüyor.

(Gülüşmeler)

(Alkışlar)

DR: Teşekkür ederim.

(Alkışlar)