Deb Roy: Lahirnya sebuah kata

Bayangkan jika Anda bisa merekam kehidupan Anda -- semua yang Anda katakan, semua yang Anda lakukan, tersedia dalam sebuah simpanan memori sempurna pada ujung jari Anda, kemudian Anda bisa kembali dan menemukan saat-saat mengesankan dan membangkitannya, atau menyaring jejak-jejak waktu dan menemukan pola dalam kehidupan Anda sendiri yang sebelumnya belum pernah diketahui. Itulah perjalanan yang dimulai oleh keluargaku lima setengah tahun yang lalu Ini adalah istriku dan kolaborator Rupal. Dan pada hari ini, pada saat ini, kami berjalan ke dalam rumah dengan anak pertama kami, bayi laki-laki kami yang ganteng. Dan kami masuk ke rumah dengan sebuah sistem perekaman video spesial.

(Video) Laki-laki: Oke.

Deb Roy: Saat ini dan ribuan saat spesial kami yang lain , direkam dalam rumah kami karena setiap ruangan dalam rumah, jika Anda melihat ke atas, Anda akan melihat sebuah kamera dan sebuah mikrofon, dan jika Anda melihat kee bawah, Anda akan melihat tampilan mata-burung ruangan ini Ini adalah ruang keluarga kami, ruang kamar bayi, dapur, ruang makan dan keseluruhan rumah. Dan semua ini dimasukkan ke dalam sebuah susunan disc yang didesain untuk menangkap gambar terus-menerus. Jadi inilah kami sedang menjalani hari-hari dalam rumah kami saat kami bergerak dari sinar pagi hari melalui pijaran malam dan, akhirnya, cahaya mati untuk hari ini. Setelah tiga tahun, kami merekam delapan hinggal 10 jam sehari, mengumpulkan sekitar seperempat juta jam suara dan video multi-track

Jika Anda melihat sebagian apa jadinya sejauh ini koleksi video rumahan terbesar yang pernah dibuat (Tawa) Dan yang direpresentasikan oleh data ini untuk pribadi keluarga kami dampaknya sangat besar, dan kami masih mempelajari nilainya. Saat-saat yang tak terhitung dari saat-saat natural yang terjadi dengan sendirinya, tidak dibuat-buat terekam di sana, dan kami sedang memulai untuk mempelajari bagaimana untuk mencari dan menemukannya.

Namun ada juga alasan ilmiah yang mendorong proyek ini, untuk menggunakan data longitudinal natural ini untuk memahami proses bagaimana seorang anak mempelajari bahasa -- anak itu adalah anakku. Dan dengan banyak ketetapan privasi yang diterapkan untuk melindungi siapa saja yang terekam dalam data, kami menjadikan bagian data-data itu tersedia untuk tim riset saya yang terpercaya di MIT kemudian kami dapat mulai mencari pola-pola dalam himpunan data yang besar ini, mencoba untuk memahami pengaruh lingkugan sosial pada pembelajaran bahasa. Jadi kita melihat pada salah satu hal pertama yang kami mulai lakukan Ini adalah saya dan istri saya sedang memasak sarapan di dalam dapur. Dan saat kami bergerak dalam ruang dan waktu, sebuah pola harian di dalam dapur.

Untuk mengkonversikan video 90.00 jam yang buram ini menjadi sesuatu yang dapat kita lihat, kami menggunakan analisis gerak untuk menarik, sementara kami bergerak dalam ruang dan waktu, apa yang kami sebut ulat ruang-waktu (space-time worms). Dan ini telah menjadi bagian dari peralatan kami untuk dapat melihat dan memperhatikan di mana letak aktivitas-aktivitas di dalam data, dan dengannya, melacak pola, pada khususnya, di mana anak saya bergerak di rumah, jadi kami dapat fokus pada usaha transkripsi kami, semua lingkungan bahasa di sekitar anak saya -- semua kata-kata yang dia dengarkan dari saya, istri saya, pengasuh kami, dan dari waktu ke waktu, kata-kata mulai dihasilkan. Dengan teknologi dan data dan kemampuan untuk, dengan bantuan mesin, menerjemahkan bahasa, kami sekarang telah menerjemahkan lebih dari tujuh juta kata dari transkrip kami. Dan dengan itu, biarkan saya menunjukkan pada Anda sebuah tur pertama ke dalam data itu.

Anda semua, saya yakin, telah melihat video-video waktu-dipercepat (time-lapse video) di mana sebuah bunga merekah saat Anda mempercepat waktu. Saya ingin Anda sekarang mengalami proses merekahnya bentuk bahasa. Anak saya, segera setelah ulang tahun pertamanya, mengatakan "gaga" untuk air. Dan setelah setengah tahun kemudian, dia lambat laun belajar untuk mendekati bentuk yang lebih sesuai, "air" (water) Jadi kita sedang melewati setengah tahun dalam sekitar 40 detik Tidak ada video di sini, agar Anda dapat fokus pada suara, akustik, dari sebuah jenis penggambaran baru: gaga menjadi air (water)

(Suara) Bayi: Gagagagagagaga Gaga gaga gaga guga guga guga wada gaga gaga guga gaga wader guga guga water water water water water water water water water

DR: Dia yakin telah menangkapnya, bukan.

(Tepuk tangan)

Dia tidak hanya belajar mengucapkan air (water) Dalam waktu 24 bulan, dua bulan pertama, yang sangat kami fokuskan, ini adalah peta dari setiap kata yang dia pelajari dalam urutan kronologis. Dan karena kami mempunyai transkrip yang lengkap, kami telah mengidentifikasi setiap 503 kata yang dia pelajari sampai ulang tahun keduanya. Dia adalah pembicara muda. Dan kemudian kami mulai menganalisis mengapa. Mengapa beberapa kata lahir sebelum lainnya? Ini adalah salah satu dari hasil awalnya yang dihasilkan dari penelitian kami lebih dari setahun yang lalu yang sangat mengejutkan kami. Cara untuk menafsirkan gambar sederhana ini adalah pada arah vertikal mengindikasikan sekompleks apa ucapan pengasuh berdasarkan panjang dari ucapan. Dan pada sumbu horizontal adalah waktu.

Dan seluruh data, kami susun berdasarkan pada ide berikut: Setiap kali anak saya mempelajari sebuah kata, kami akan melacak balik dan melihat pada semua bahasa yang dua dengar yang berisi kata tersebut. Dan kami akan menggambar panjang relatif dari ucapan tersebut. Dan apa yang kami temukan adalah fenomena yang aneh ini, bahwa bahasa pengasuh akan turun secara sistematis hingga minimum, membuat bahasa yang paling sederhana, dan kemudian perlahan meningkat kembali menjadi kompleks. Dan yang menakjubkan bahwa lompatan itu, turunan itu, berjajar hampir persis degnan setiap kata dilahirkan -- kata demi kata, secara sistematis. Jadi terlihat bahwa ketiga pengasuh utama -- saya, istri saya dan pengasuh saya -- secara sistematis dan, saya pikirm secara tidak sadar membangun kembali bahasa kami hingga dia sampai pada lahirnya sebuah kata dan membawanya perlahan menuju bahasa yan glebih kompleks. Dan implikasi dari hal ini -- ada banyak hal, namun hanya satu yang ingin saya tunjukkan, bahwa pasti ada putaran umpan balik yang menakjubkan. Tentu saja, anak saya sedang belajar dari lingkungan bahasanya, namun lingkungan juga belajar darinya. Lingkungan itu, orang-orang, berada dalam putaran umpan balik yang padat ini dan menciptakan semacam perancah (scaffolding) yang belum diketahui hingga sekarang.

Tapi itu melihat kpada konteks bahasa Bagaimana dengan konteks visual? Kita tidak melihat -- pikirkan ini sebagai potongan rumah boneka dari rumah kami. Kami telah mengambil kamera mata-ikan berlensa bundar itu, dan kami telah melakukan beberapa koreksi optik, dan kemudian kami dapat membawanya ke dalam kehidupan tiga dimensi. Selamat datang di rumah saya. Ini adalah sebuah momen, satu momen yang ditangkap oleh banyak kamera. Alasan kami melakukan ini adalah untuk menciptakan mesin memori mutakhir, di mana Anda dapat kembali dan melayang secara interaktif dan kemudian merasakan kehidupan video ke dalam sistem ini. Apa yang akan saya lakukan adalah memberi Anda sebuah pemandangan dipercepat 30 menit, lagi-lagi, hanya kehidupan di dalam ruang tamu. Ini adalah saya dan anak saya di atas lantai. Dan itu adalah analisis video yang melacak pergerakan kamu Anak saya ditunjukkan warna merah, saya warna hijau. Kami sekarang sedang bertemu, melihat melalui jendela pada mobil yang sedang berlalu-lalang. Dan akhirnya, anak saya memainkan sebuah mainan berjalan sendirian.

Kemudian kami menghentikan aksi itu, 30 menit, kami kembali ke waktu vertikal, dan kami membuka sebuah pemandangan dari jejak interaksi yang kami tinggalkan ini. Dan kami melihat struktur yang menakjubkan ini -- dua knot kecil ulir berwarna ini kami sebut hot spot sosial. Ulir spiral kami sebut hot spot tunggal (solo). Dan kami pikir bahwa ini berdampak pada cara bahasa dipelajari. Apa yang kami ingin lakukan adalah mulai memahami interaksi antara pola ini dan bahasa yang diterima anak saya untuk melihat apakah kami bisa memprediksikan bagaimana struktur kapan kata didengar berdampak saat kata itu dipelajari -- jadi dengan kata lain, hubungan antara kata dan maknanya di dunia.

Jadi ini pendekatan kami. Dalam video ini, lagi-lagi, anak saya sedang dilacak. Dia meninggalkan jejak merah. Dan ini adalah pengasuh kami di pintu.

(Video) Pengasuh: Kamu ingin air? (Bayi: Aaaa.) Nanny: Baiklah. (Bayi: Aaaa.)

DR: Dia menawarkan air, dan menuju dua ulir melalui dapur untuk mengambil air. Dan apa yang telah kami lakukan adalah menggunakan kata "air" (water) untuk melabeli momen itu, aktivitas kecil itu. Dan sekarang kami mengambil kekuatan data itu dan mengambil setiap waktu anak saya mendengar kata air (water) dan konteks dia melihatnya, dan kami menggunakannya untuk menyusupi video dan menemukan setiap jejak aktivitas yang dilakukan bersamaan dengan kejadian air. Dan apa yang data ini tinggalkan adalah sebuah lansekap. kami sebut ini pemandangan-kata (wordscapes). Ini adalah wordscape untuk kata air, dan Anda dapat melihat kebanyakan terjadi di dalam dapur. Itu adalah tempat di mana puncak besar itu menuju ke kiri. Dan hanya untuk membandingkan, kami dapat melakukan ini dengan kata apa saja. Kami dapat mengambil kata "bye" dalam "good bye" Dan kami sekarang memperbesar jalan masuk ke rumah. Dan kami melihat, dan menemukan, seperti yang Anda harapkan, sebuah perbedaan dalam lansekap di mana kata "bye" muncul lebih sering dengan cara yang terstruktur. Jadi kami menggunakan struktur ini untuk mulai memprediksikan urutan pembelajaran bahasa, dan itu dalah pekerjaan yang sedang dilakukan sekarang.

Dalam lab saya, tempat kami bekerja sama, di MIT -- ini adalah di lab media. Ini telah menjadi cara terfavorit saya untuk merekam gambar video di raungan apapun. Tiga orang kunci dalam proyek ini, Philip DeCamp, Rony Kubat dan Brandon Roy terlihat di sini. Philib telah menjadi seorang kolaborator yang teliti pada seluruh visualisasi yang Anda sedang lihat. Dan Michael Fleischman adalah mahasiswa Ph.D lain di lab saya yang bekerja dengan saya pada analisis video ini, dan dia membuat observasi berikut: bahwa "hanya dengan cara kami menganalisis bagaimana bahasa berkaitan dengan kejadian yang menyediakan alasan umum untuk bahasa, ide itu bisa kita ambil dari rumahmu, Deb, dan kami dapat menerapkannya pada dunia media publik." Dan jadi usaha kami mendapatkan perubahan yang tidak diperkirakan.

Pikirkan media massa sebagai penyedia lapangan umum dan Anda punya resep untuk menerapkan ide ini pada tempat yang sama sekali baru. Kami telah mulai menganalisis konten televisi menggunakan prinsip-prinsip yang sama -- menganalisis struktur peristiwa dari sebuah sinyal TV -- episode-episode pertunjukan, ikan-iklan, semua komponen yang membuat struktur peristiwa. Dan sekarang kami, dengan satelit, menarik dan menanalisis sebuah bagian yang bagus dari semua TV yang sedang ditonton di Amerika Serikat. Dan Anda sekarang tidak perlu nenasang ruang tamu dengan mikrofon untuk mendapatkan percakapan orang, Anda hanya perlu menyetel feed media sosial yang tersedia secara publik.

Kemudian kami menarik sekitar tiga juta komentar sebulan. Dan kemudian hal yang menakjubkan terjadi. Anda mempunyai struktur peristiwa, lapangan yang umum pada kata-kata itu, keluar dari feed televisi; Anda telah mendapatkan percakapan mengenai topik-topik ini; dan melalui analisis semantik -- dan ini sebenarnya data nyata yang Anda sedang lihat dari hasil pemrosesan data kami -- setiap garis kuning menunjukkan sebuah hubungan sedang dibuat antara sebuah komentar di rimba dan sebuah bagian struktur peristiwa keluar dari sinyal televisi. Dan ide yang sama sekarang dapat dibangun. Dan kami mendapatkan wordscape ini, namun sekarang kata-kata tidak tesusun di dalam ruang keluarga saya. Tapi dalam konteksm aktivitas lapangan umum, bahwa konten televisi yang mendorong percakapan. Dam apa yang kita lihat di sini, pencakar langit ini, adalah komentar yang berhubungan dengan konten televisi. Konsep yang sama, namun melihat pada dinamika komunikasi dalam sebuah lingkup yang sangat berbeda.

Dan sangat mendasar, daripada hanya, sebagai contoh, mengukur konten berdasarkan berapa banyak orang yang menonton, ini memberi kita data yang mendasar untuk melihat pada sifat hubungan erat dari konten. Dan seperti halnya ktia dapat melihat siklus umpan balik dan dinamika dalam sebuah keluarga, kita sekarang dapat membuka konsep yang sama dan kita dapat melihat pada kelompok orang yang lebih besar Ini adalah subset data dari database kami -- hanya 50.000 dari beberapa juta -- dan grafik sosial yang menghubungkannya melalui sumber yang tersedia secara publik. Dan jika Anda meletakkannya dalam satu dataran, dataran yang kedua adalah di mana konten itu hidup. jadi kami telah mempunyai program dan peristiwa yang berkaitan dengan olahraga dan iklan, dan seluruh struktur hubungan yang mengikatnya membuat sebuah gambar konten. Dan kemudian dimensi penting yang ketiga. Setiap hubungan yang sedang Anda lihat di sini adalah sebuah koneksi nyata yang dibuat di antara sesuatu yang seseorang katakan dan sebagian konten. Dan sekarang ,lagi-lagi ada 10 jutaan hubungan ini yang menunjukkan pada kita jaringan hubungan grafik sosial dan bagaimana mereka berhubungan pada konten. Dan kita sekarang bisa memulai untuk menyelidiki struktur dengan cara yang menarik.

Jadi jika kita, misalnya, melacak jalur dari datu bagian konten yang mendorong seseorang untuk mengomentarinya, dan kemudian kita mengikuti ke mana komentar itu pergi, dan kemudian melihat pada keseluruhan grafik sosial yang menjadi aktif dan kemudian melacak balik untuk menemukan hubungan antara grafik sosial dan konten, sebuah struktur yang sangat menarik menjadi terlihat. Kami menyebut ini sebuah kumpulan pemandangan-bersama (co-viewing), sebuah ruang keluarga jika Anda mau menyebutnya begitu. Dan ada dinamika yang menakjubkan sedang dimainkan. Dinamika itu tidak berjalan satu arah. Sebagian konten, sebuah peristiwa, menyebabkan seseorang berbicara. Mereka berbicara kepada orang lain. yang mendorong media massa mendengarkan, dan Anda mendapatkan siklus ini yang mendorong keseluruhan perilaku.

Contoh lain -- sangat berbeda -- seorang yang lain di dalam database kami -- dan kami sedang mencari minimal ratusan, jika tidak ribuan, dari ini. Kami telah memberikan orang ini sebuah nama. Ini adalah sebuah pro-amatir, atau pro-am, kritik media yang mempunyai tingkat fans yang tinggi ini. Jadi banyak orang mengikuti orang ini -- sangat berpengaruh -- dan mereka mempunyai sebuah kecenderungan untuk berbicara mengenai tayangan TV. Orang ini adalah sebuah hubungan kunci dalam koneksi media massa dan media sosial.

Satu contoh terakhir dari data ini: Terkadang sebenarnya ada sebagian konten yang spesial. jadi jika kita kembali melihat bagian konten ini. Negara Serikat Presiden Obama menyampaikan dari beberapa minggu yang lalu, dan melihat pada apa yang kami temukan dalam set data ini, pada skala yang sama, sifat hubungan dari bagian konten ini sangat luar biasa. Sebuah bangsa yang mengalami ledakan percakapan dalam real time dalam merespon apa yang disiarkan. Dan tentu saja, melalui semua baris ini mengalir bahasa yang tidak terstrukur. Kami dapat melakukan X-ray dan mendapat denyutan real-time dari sebuah bangsa, sensasi real-time dari reaksi sosial dalam sirkuit yang berbeda dalam grafik sosial sedang diaktifkan oleh konten.

jadi, untuk menyimpulkan, ide-nya adalah ini: Karena dunia kita menjadi punya lebih banyak alat dan ktia punya kemampuan untuk mengumpulkan dan menghubungkan titik-titik antara apa yang dikatakan orang dan dalam konteks mereka membicarakannya, apa yang muncul adalah sebuah kemampuan untuk melihat struktur sosial baru dan dinamika yang sebelumnya belum pernah diketahui Itu seperti membangun sebuah mikroskop atau teleskop dan membuka struktur baru mengenai perilaku kita saat berkomunikasi. Dan saya berpikir implikasinya sangat besar, apakah untuk sains, untuk perdagangan, untuk pemerintahan, atau mungkin yang terbesar, untuk kita sebagai indovodu.

Dan kembali pada anak saya, ketika saya sedang menyiapkan pembicaraan ini, dia melihat dari atas bahu saya, dan saya menunjukkan klip yang saya akan tunjukkan pada Anda hari ini, dan saya meminta izinnya -- dia berikan. Dan ketika saya berefleksi, "Bukankah itu menakjubkan, keseluruhan database ini, seluruh rekaman ini, saya akan berikan padamu dan pada saudarimu." yang datang dua tahun kemudian. "Dan kalian akan dapat kembali dan kembali mengalami momen yang mungkin tidak pernah, dengan ingatan biologismu, dapat mengingat dengan caramu sekarang." Dan dia diam sebentar. Dan saya berpikir, "Apa yang saya pikirkan? Dia berumur lima tahun. Dia tidak akan memahami ini." Dan saat saya memikirkannya, dia melihat saya dan mengatakan, "Jadi saat saya tambah dewasa, saya dapat menunjukkan ini pada anak saya?" Dan saya berpikir, "Wow, ini adalah sesuatu yang hebat."

kemudian saya ingin meninggalkan Anda dengan satu momen terakhir yang pantas diingat dari keluarga kami. Ini adalah saat pertama anak kami mengambil lebih dari dua langkah suatu waktu -- tertangkap kamera. Dan saya benar-benar ingin Anda fokus pada sesuatu saat saya menunjukkan. Ini adalah lingkungan yang kacau, ini adalah kehidupan natural. Ibuku di dalam dapur, memasak, dan, dari seluruh tempat, dalam lorong, Saya menyadari dia akan melakukannya, tentang mengambil lebih dari dua langkah. Dan Anda mendengar saya mendorong anak saya, menyadari apa yang sedang terjadi, dan kemudian keajaiban terjadi. Dengarkan dengan baik. Mengenai tiga langkah dalam, dia menyadari sesuatu yang ajaib sedang terjadi. Dan lingkaran umpan balik yang paling menakjubkan terjadi, dan dia mengambil nafas, dan dia membisikkan "wow" dan secara naluriah saya juga menirukannya. Dan kemudian kembali ke waktu pada momen yang pantas diingat itu.

(Video) DR: Hai. Kesinilah. Dapatkah kamu melakukannya? Oh, boy. Dapatkan kamu melakukannya? Bayi: Ya. DR: Ma, dia berjalan.

(Tawa)

(Tepuk tangan)

DR: Terima kasih.

(Tepuk tangan)