Деб Рой: Народження слова

Уявіть собі, що у вас є можливість записати ваше життя -- все сказане, все зроблене, доступне у ідеальній базі пам'яті на кінчиках ваших пальців так, що ви можете повернутись, віднайти пам'ятні моменти й пережити їх знову, або ж відфільтрувати крізь сліди часу та віднайти шаблони вашого життя, про які раніше ви навіть і не підозрювали. Отож це саме та подорож, яку розпочала моя сім'я п'ять з половиною років тому. Це моя жінка та співробітник, Рупал. В цей день, у цю хвилину, ми увійшли в будинок з нашою першою дитиною, нашим чудовим сином-малюком. Ми увійшли в будинок, обладнаний спеціальною системою запису домашнього відео.

(Відео) Людина: Добре.

Деб Рой: Цей момент та тисячі інших, особливих для нас моментів були відзняті у нашому будинку, тому що у кожній кімнаті, якщо б ви глянули вгору, то б побачили відеокамеру та мікрофон, а якщо б поглянули вниз, ви б побачили всю кімнати з висоти пташиного польоту. Ось тут наша вітальня, дитяча спальня, кухня, їдальня та решта будинку. І все це помістилося на дисковому масиві, який було розроблено для безперервної зйомки. Отже, ми пролітаємо крізь день у нашому домі, ми рухаємося від світанку до самого вечора і, нарешті, кінець дня. Упродовж трьох років ми записували від 8 до 10 годин щоденно, накопичуючи приблизно чверть мільйона годин багатодоріжкового аудіо та відео.

Отож ви бачите частину того, що на сьогоднішній день є найбільшою колекцією коли-небудь зробленого домашнього відео. (Сміх) І те значення, що ці дані становлять для нашої сім'ї на особистому рівні, їхній вплив уже був колосальним. І ми все ще осягаємо їхню вартість. Незчисленні хвилини природніх подій, без позування відзнято тут і ми вчимося відкривати й осягати їх.

Але у цього проекту є й наукове завдання використати ці неопрацьовані довготривалі дані, щоб зрозуміти процес вивчення мови дитиною - і ця дитина мій син. І, отож забезпечивши певну конфіденційність з метою захисту кожного, хто був записаний на відео, частини даних ми зробили доступними довіреній дослідницькій групі з МІТ, щоб розпочати виділення повторюваних моментів у цьому масивному наборі даних для вияснення впливу соціального середовища на засвоєння мови. Ось тут ми бачимо перше, що почали робити. Тут я з жінкою готуємо сніданок на кухні. Ми подорожуємо у часі й просторі щоденних подій, що відбуваються на кухні.

Для того, щоб конвертувати ці важкі для сприйняття 90,000 годин відео до перегляду, ми використовуємо аналіз руху, щоб виділити поки ми рухалися в часі і просторі, те, що ми називаємо просторово-часовими хробаками. Цей прийом став частиною набору інструменів з допомогою котрого, ми виділили дії у цьому масиві даних а також відслідкувати траєкторію руху мого сина по будинку, з метою зосередження наших зусиль на мовленєвому середовищі мого сина - усіх слів почутих від мене, моєї жінки, нашої нянечки, та згодом слів, що він почав сам відтворювати. Завдяки цій технології, даним, та можливості транскрибування мови з допомогою техніки, нам вдалося зафіксувати близько семи мільйонів слів у домашніх стенограмах. Отож, з вашого дозволу, розпочнемо першу мандрівку в дані.

Ви всі, я певен, бачили уповільнене відео де квітка розквітає, якщо пришвидшити час. Я хочу, щоб ви побачили розквіт мовної форми. Мій син, після свого першого дня народження почав говорити "гага", що означало "вода". І упродовж шести місяців він повільно наблизився до правильної дорослої форми - "вода". Зараз ми побачимо півроку за 40 секунд. Тут немає відео, так що ви можете зосередитись на звуці, акустиці нової траєкторії руху від "гага" до "вода".

(Аудіо) Дитина : Гaгaгaгaгaгa Гага гага гага гуга гуга гуга вада гага гага гуга гага вода гуга гуга вода вода вода вода вода вода вода вода вода.

ДР: Він чудово справився з цим, чи не так?

(Аплодисменти)

Він не тільки вивчив слово "вода". Впродовж 24 місяців, перших двох років, на яких ми зосередилися, тут представлені у вигляді мапи вивчені ним слова у хронологічному порядку. Завдяки наявності повних стенограм, ми визначили кожне з 503 слів, що він навчився відтворювати до його другого дня народження. Він швидко навчився розмовляти. Ми почали аналізувати, чому. Чому деякі слова з'явились швидше за інші? Ось один з перших результатів, отриманий трохи більше року тому, що справді здивував нас. Спосіб інтерпретувати цей, здавалося б, простий граф - по вертикалі є показники того, наскільки складними є фрази вихователя залежно від їхньої довжини. горизонтальна вісь - час.

Всі дані ми організували за наступним принципом: Кожного разу, коли мій син вчив слово, ми повертались назад і відслідковували всі мовні ситуації, що містили це слово. І ми відмічали відносну довжину висловів. Ми відслідкували дивне явище, що мова вихователя прямувала до мінімальної складності, спрощуючи мову, а потім повільно поверталась до попереднього рівня. І дивовижним є той стрибок, те занурення, розташовані майже так само, як народження кожного слова -- слово за словом, систематично. Виходить, що всі три основних вихователя -- я, моя дружина і наша няня -- систематично, і я вважаю, на підсвідомості реструктуризували свою мову, щоб "зустріти" дитину при народженні слова і довести його до дещо "складнішої мови" Наслідків цього багато, але на один з них хочу звернути особливу увагу - існують цикли зворотнього зв'язку. Звісно, мій син черпає знання з свого мовного середовища, а середовище - від нього. Це середовище, ці люди, перебувають у постійному зворотньому зв'язку і утворюють щось на зразок будівельних лісів, які не були помічені до сих пір.

Та це розгляд у мовленнєвому контексті. А як щодо візуального контексту? Ми не зважаємо на це -- подумайте про це як про ляльковий будинок в розрізі нашого будинку. Ми взяли камери з ширококутними лінзами "риб'яче око", оптично відкоригували зображення і отримали тривимірне зображення нашого сімейного життя. Тому ласкаво просимо в мій будинок. Ось момент, спійманий численними камерами. Ми зробили це з метою створення вичерпної машини знань, щоб можна було відмотати час назад і інтерактивно переміщатися, й внести в систему відео-життя. Зараз я хочу показати вам прискорені 30 хвилин звичайного життя у вітальні. показати вам прискорені 30 хвилин звичайного життя у вітальні. Це я з сином на підлозі. А це системи відео-аналізу, що відслідковують наші рухи. Рухи мого сина позначені червоним, мої - зеленим кольором. Зараз ми на дивані, дивимося у вікно на машини, що проїжджають повз. І нарешті, мій син грає в своїх дитячих ходунцях.

Зараз ми заморозимо дії, ці 30 хвилин, помістимо час на вертикальну вісь, і отримаємо вигляд взаємодії цих слідів, що ми щойно залишили позаду. І ми бачимо, ці дивовижні структури -- ці вузлики двох кольорових ниток, що ми називаємо "точками активного спілкування". Спіральну нитку ми називаємо "точкою активної самостійності". І ми думаємо, що це впливає на спосіб вивчення мови. Що б ми хотіли зробити, так це зрозуміти взаємодію між цими повторюваними елементами і мовою, яку сприймає моя дитина, щоб зрозуміти, чи можемо ми передбачити, яким чином структура почутих слів впливає на їх засвоєння -- Іншими словами, зв'язки між словами та їх значеннями в реальному світі.

Так ось, як ми наближаємося до цього. На цьому відео знову відслідковуються дії мого сина. Він залишає за собою червоні сліди. А ось наша няня біля дверей.

(Відео) Няня: Ти хочеш води? (Дитина: Аааа.) Няня: Гаразд. (Дитина: Аааа.)

ДР: Вона пропонує йому воду, і тут же два черв'ячка прямують на кухню по воду. Ми використали слово "вода" щоб позначити той момент, ту одиницю дії. А тепер ми скористаємося можливостям даних і відслідкуємо кожен раз, коли мій син чув слово "вода" і контекст, в якому він бачив воду, і ми використаємо це для занурення у відео і віднайдемо кожен слід активності, що відбувалась в ситуації з водою. Те, що ці дані залишають за собою, є своєрідним ландшафтом. Це словесні ландшафти. Це словесний ландшафт слова "вода". Велику активність можна прослідкувати на кухні. Саме там "виростають" ці великі вершини на зображенні зліва. І так само, для контрасту, ми можемо зробити це з будь-яким словом. Ми можемо взяти слово "бувай", як у фразі "бувай, до зустрічі". Ось ми з вами наближаємо камеру і опиняємося біля входу в будинок. І ми бачимо, як і можна було очікувати, відмінність в ландшафті, так як слово "бувай" проявляється тут більш явно. Отож ми використовуємо ці структури для передбачення порядку засвоєння мови, і це поточна робота на даний час.

Це моя лабораторія в МІТ, зараз ми в неї заглянемо -- це медіа лабораторія. Це стало моїм улюбленим способом відеозапису буквально будь-якого простору. Троє із ключових людей в цьому проекті, Філіп ДеКамп, Роні Кубат та Брендон Рой зображені тут. Філіп тісно співпрацював над усіма візуалізаціями, які ви тут бачите. І Майкл Фляйшман іще один студент докторантури в моїй лабораторії, котрий працював зі мною над аналізом цього домашнього відео, і він зробив таке спостереження: "те, як ми аналізуємо, як мова пов'язана із подіями, в яких закладається основа для мови, ту ж саму ідею ми можемо винести за рамки твого дому, Деб, і застосувати її до світу ЗМІ." Таким чином у нашому експерименті відбувся несподіваний поворот.

Уявіть собі ЗМІ як те, що створює підгрунтя, а у вас є рецепт того, як застосувати цю ідею у зовсім новому місці. Ми почали аналізувати телевізійний контент за допомогою тих самих принципів -- аналізували структуру ТБ-сигналу -- епізоди телешоу, реклами, усі ті складові частини, що створюють структуру телебачення. І зараз ми з нашими сателітарними тарілками завантажуємо й аналізуємо добрячу частину усього ТБ, яке переглядають в Сполучених Штатах. І вам не треба зараз йти й обвішувати вітальні мікрофонами, щоб записати розмови людей, ви просто використовуєте загальнодоступні канали ЗМІ.

Тож ми опрацьовуємо приблизно 3 млрд. коментарів щомісяця, а потім стається диво. У вас є структура подій, підгрунтя для слів, що йде із телевізійних каналів; у вас є розмови, об'єднані тими темами; і за допомогою семантичного аналізу -- те, що ви зараз бачите, це власне справжні дані, отримані нами шляхом аналізу інформації -- кожна жовта лінія показує зв'язок, що утворюється між чиїмсь коментарем і частиною структури подій, отриманої із телевізійного сигналу. І та сама ідея зараз може бути розбудованою. І ми отримуємо цей словесний ландшафт, лише зараз слова зібрані не у моїй вітальні. Натомість контекст, те, що створило підгрунтя, це телевізійний контент, звідки йшли розмови. Те, що ми тут бачимо, ось ці хмарочоси, це коментарі, які пов'язані із контентом з телебачення. Та ж концепція, але тут ми розглядаємо динаміку спілкування у зовсім іншій сфері.

Отож насправді, замість того, щоб, наприклад, вимірювати контент на основі того, скільки є телеглядачів, ми отримуємо основні дані для розуміння того, який рівень зацікавлення викликав контент. І так само, як ми можемо взяти до уваги цикли зворотнього зв'язку і динаміку в межах сім'ї, ми зараз можемо застосувати ті ж самі концепції, але із залученням набагато більшої групи людей. Ось частина даних із нашої бази даних -- лише 50000 із кількох мільйонів -- і вони з'єднані соціальним графом через загальнодоступні джерела інформації. Якщо розташувати їх на одній площині, на другій площині розташується контент. Отже, в нас є передачі та спортивні події і реклами, й усі структурні ланки, що їх з'єднують, все це утворює граф інформаційного наповнення. А тоді важливий третій вимір. Кожна із ланок, яку ви тут бачите, є реальним зв'язком, що утворюється між тим, що хтось сказав, та частиною контенту. Й ось знову, зараз ми тут маємо десятки мільйонів таких зв'язків, що дають нам з'єднувальний матеріал для соціальних графів і того, яким чином вони пов'язані із контентом. І зараз ми можемо розпочати випробовування структури цікавими способами.

Наприклад, якщо ми прокладемо шлях одної із частин контенту, що спонукає когось її прокоментувати, а тоді ми прослідкуємо, куди йде цей коментар, і поглянемо на весь соціальний граф, який став задіяний, пройдемо назад, щоб поглянути на зв'язок між тим соціальним графом і контентом, то побачимо дуже цікаву структуру. Ми називаємо це кліше спільного перегляду, віртуальна вітальня, якщо вам так більше до вподоби. І тут задіяна дивовижна динаміка. Вона не спрямована лише в один бік. Частина контенту, подія, спонукає когось говорити. Вони звертаються до інших людей. Це приводить поведінку залучення у розмову назад у ЗМІ, а ось ці цикли керують загальною поведінкою.

Іще один приклад -- зовсім інакший -- інша реальна людина у нашій базі даних -- і ми знаходимо принаймні сотні, якщо не тисячі, таких. Ми дали цій особі ім'я. Це професійний аматор чи про-ам ЗМІ критик, який має високий рейтинг серед фанатів. Багато людей наслідують його -- він дуже впливовий -- і вони схильні обговорювати те, що показують по ТБ. Ця людина є ключовою ланкою у зв'язку між ЗМІ та соціальними медіа.

І останній приклад із цих даних: Часом це насправді особлива частина контенту. Якщо ми поглянемо на цю частину контенту, звернення президента Обами про становище у країні кількатижневої давності, і поглянемо на те, що в нас є у тому ж наборі даних, на тому ж рівні, рівень зацікавлення цією часткою контенту справді дивовижні. Нація буквально вибухнула в обговоренні у реальному часі у відповідь на те, що транслювалося по ТБ. І звичайно ж, крізь усі ці лінії проходить потік неструктурованої мови. Ми можемо просканувати настрої та тримати руку на пульсі нації, оперативне відчуття соціальних реакцій у різних ділянках соціального графу, що активується контентом.

Тож, щоб підсумувати, ідея звучить так: В той час, як наш світ все більше й більше заповнюється різними приладами і в нас є змога збирати та з'єднувати точки між тим, що люди кажуть, так контекстом, в якому вони це кажуть, в нас з'являється можливість побачити нові соціальні структури та динаміку, яку раніше не бачили. Це як побудувати мікроскоп чи телескоп й виявити нові структури нашої власної поведінки у процесі спілкування. І я вважаю, що це має глибокий вплив, як на науку, так і на торгівлю, уряд, чи, можливо, більш за все на нас, як особистостей.

Отож повернемося до мого сина, коли я готував цю доповідь, він дивився мені через плече і я показав йому відеокліпи, які збирався показати вам сьогодні, і я запитався у нього дозволу на це. А тоді я поділився із ним своїми роздумами: "Правда ж, це дивовижно, що уся ця база даних, усі ці записи, я передам тобі та твоїй сестрі" -- вона народилася на два роки пізніше -- "і ви зможете повернутися й знову пережити ці миті, які ви б ніколи не змогли, зі своєю біологічною пам'яттю, пам'ятати так, як зараз?" Він мовчав певний час. А я думав: "Що я роблю? Йому п'ять років. Він цього не зрозуміє." І саме в той час, коли я це подумав, він поглянув на мене і сказав: "Значить, коли я виросту, то зможу показати це своїм дітям?" І я подумав: "Ухти, це дивовижна річ."

На завершення я хочу поділитися із вами іще однією пам'ятною миттю для нашої сім'ї. Це вперше, коли наш син зробив більше двох кроків підряд -- зафіксовано на відео. І я б дуже хотів, щоб ви зосередилися на чомусь, поки я проведу вас крізь цю мить. Це захаращене середовище; це природнє життя. Моя мама на кухні, готує їжу, і з усіх можливих місць, саме в коридорі, я зрозумів, що зараз це станеться, він пройде більше двох кроків. Ось ви чуєте, як я його підбадьорюю, усвідомлюючи, що відбувається, а тоді стається диво. Слухайте уважно. Три кроки вперед, він розуміє, що стається диво, це найдивовижніше з усіх і він переводить подих, і шепоче "ухти", а я інстинктивно повторюю за ним. Отож, повернемося в часі до того пам'ятного моменту.

(Відео) ДР: Агов. Іди сюди. Ти можеш це зробити? О, хлопче. Ти можеш це зробити? Дитина: Та. ДР: Ма, він ходить.

(Сміх)

(Аплодисменти)

ДР: Дякую.

(Аплодисменти)