Deb Roy: Sự ra đời của một từ

Tưởng tượng nếu bạn có thể ghi lại cuộc đời bạn... mọi điều bạn nói, mọi thứ bạn làm, sẵn sàng có trong một ký ức hoàn hảo ngay trên tay bạn, nên bạn có thể quay lại và tìm những khoảnh khắc đáng nhớ và hồi tưởng chúng, hay lướt qua vệt thời gian và khám phá các hình mẫu trong chính cuộc đời của bạn mà đã đi qua chưa được khám phá. Và đó chính là cuộc hành trình mà gia đình tôi đã bắt đầu 5 năm rưỡi trước. Đây là vợ và là người cộng tác của tôi, Rupal. Và vào ngày này, vào thời điểm này, chúng tôi đã bước vào nhà với đứa con đầu lòng của chúng tôi, bé trai tuyệt vời của chúng tôi. Và chúng tôi đi vào nhà với một hệ thống ghi hình đặc biệt trong nhà.

(Phim) Người đàn ông: Được rồi.

Deb Roy: Khoảnh khắc này và hàng ngàn khoảnh khắc đặc biệt khác đối với chúng tôi, đã được thu tại nhà chúng tôi vì trong mỗi phòng trong nhà, nếu bạn nhìn lên, bạn sẽ thấy một máy quay và một micro. và nếu bạn nhìn xuống, bạn sẽ có một tầm nhìn bao quát của căn phòng. Đây là phòng khách của chúng tôi, phòng ngủ em bé, nhà bếp, phòng ăn và phần còn lại của ngôi nhà. Và tất cả được lưu trong một dãy đĩa được thiết kế cho việc thu liên tục. Viì ậy chúng ta đang lướt qua một ngày trong nhà chúng tôi khi mà chúng ta đi từ sáng sớm cho tới chiều tà và cuối cùng, tắt đèn đi ngủ. Trong vòng 3 năm, chúng tôi đã ghi 8 tới 10 tiếng mỗi ngày, tích lũy xấp xỉ 250.000 giờ hình và tiếng

Vì vậy bạn đang xem một mẫu trong cái mà cho đến nay gọi là bộ sưu tập phim gia đình lớn nhất từng được làm. (Tiếng cười) Và cái mà dữ liệu này thể hiện cho gia đình chúng tôi ở mức độ cá nhân, ảnh hương đã là rất lớn, và chúng tôi vẫn tiếp tục học giá trị của nó. Vô số thời điểm tự nhiên, không giả tạo, được thu lại, và chúng tôi đang bắt đầu học làm cách nào để khám phá chúng và tìm chúng.

Nhưng cũng có một lý do khoa học dẫn tới dự án này, đó là để dùng dữ liệu tự nhiên theo chiều dọc này để hiểu quá trình một đứa trẻ học ngôn ngữ như thế nào-- đứa trẻ đó là con trai chúng tôi Và vì với nhiều điều khoảng riêng tư để bảo vệ mọi người đã được ghi lại trong dữ liệu, chúng tôi để những thành phần của dữ liệu cho nhóm nghiên cứu tin cậy của tôi tại MIT vì vậy chúng tôi có thể bắt đầu gỡ ra những mẫu trong bộ dữ liệu khổng lồ này, cố gắng hiểu sự ảnh hưởng của môi trường xã hội đối với tiếp nhận ngôn ngữ. Vì vậy chúng ta xem ở đây là vào một trong những thứ đầu tiên chúng tôi bắt đầu làm. Đây là vợ tôi và tôi đang nấu bữa sáng trong bếp. Và khi chúng tôi di chuyển qua không gian và thời gian, một kiểu cuộc sống hoạt động trong nhà bếp mang tính thường nhật.

Để có thể chuyển đổi 90.000 giờ phim không ý nghĩa này sang một thứ gì đó mà chúng tôi có thể bắt đầu thấy, chúng tôi sử dụng chương trình phân tích chuyển động để thực hiện, khi chúng ta di chuyển theo không gian và thời gian, cái mà chúng tôi gọi là các con sâu không-thời gian. Và nó trở thành một phần của bộ công cụ của chúng tôi để có thể nhìn và thấy địa điểm của các hoạt động trong dữ liệu, và với nó, tìm ra hình thức của, cụ thể là, những nơi con trai chúng tôi di chuyển trong nhà. thì chúng tôi có thể tập trung các nỗ lực chuyển đổi tất cả các môi trường nói quanh con trai chúng tôi -- tất cả các từ mà nó nghe từ tôi, vợ tôi, và người giữ trẻ của chúng tôi, và theo thời gian, các từ ngữ bắt đầu hình thành. Vì vậy với công nghệ đó và dữ liệu đó và khả năng để, với sự giúp đỡ của máy móc, chuyển âm, chúng tôi hiện tại đã chuyển xấp xỉ hơn 7 triệu từ từ những chuyển âm trong nhà của chúng tôi. Và với nó, để tôi giới thiệu với các bạn đi một vòng đầu vào trong dữ liệu này.

Tôi chắc là hẳn các bạn,, từng xem những đoạn phim tua nhanh một bông hoa nở khi mà bạn tăng thời gian chạy. Tôi muốn các bạn trải nghiệm sự nở hoa của thể nói. Con trai chúng tôi, sau lần sinh nhật đầu của nó, nói "gaga" để chỉ "water". Và trong vòng nửa năm, nó dần học để phỏng theo thể hoàn chỉnh nhất, "water" Vì vậy chúng ta sẽ đi qua nửa năm trong khoảng 40 giây. Không có phim ở đây, vì vậy bạn có thể tập trung vào âm thanh, chỉ âm thanh, của một dạng mới của một con đường: "gaga" thành "water"

(Âm thanh) Em bé: Gagagagagaga Gaga gaga gaga guga guga guga wada gaga gaga guga gaga wader guga guga water water water water water water water water water.

DR: Nó làm được rồi, phải không.

(Vỗ tay)

Và nó không chỉ học từ "water". Sau khoảng thời gian 24 tháng, 2 năm đầu mà chúng tôi thực sự tập trung vào, đây là một bản đồ về mọi từ mà đứa trẻ học được theo thứ tự thời gian. Và bởi vì chúng tôi có một bản ghi chép đầy đủ, chúng tôi đã xác định được từng từ trong 503 từ mà đứa trẻ học được vào lần sinh nhật thứ hai của nó. Nó là một đứa trẻ biết nói sớm. Và vì vậy chúng tôi bắt đầu phân tích tại sao. Tại sao một vài từ học được trước những từ khác? Đây là một trong những kết quả trước hết hoàn thành trong nghiên cứu của chúng tôi khoảng hơn 1 năm làm chúng tôi sửng sốt. Cách để phiên dịch biểu đồ tương đối đơn giản này là dựa vào chiều cao chỉ thị độ phức tạp của lời nói của người chăm sóc bé dựa trên chiều dài của lời nói. Và cột dọc là số lần.

Và tất cả dữ liệu, chúng tôi sắp xếp dựa trên ý tưởng sau: Mỗi lần đứa trẻ học một từ, chúng tôi sẽ quay lại và nhìn vào tất cả từ mà nó đã nghe có chứa từ đó. Và chúng tôi ghi nhận độ dài của câu nói. Và cái mà chúng tôi tìm ra hiện tượng gây tò mò này, rằng lời nói của người chăm sóc được giảm xuống một cách có hệ thống đến mức tối thiểu, làm cho ngôn ngữ đơn giản hết mức có thể, và rồi dần nâng lên phức tạp. Và điều kỳ diệu là sự lên xuống đó xếp ngay ngắn một cách gần như chính xác với khi mỗi từ được sinh ra -- từ này tới từ khác một cách có hệ thống. Vì vậy có vẻ như là tất cả 3 người chăm sóc chính-- tôi, vợ tôi và người giữ trẻ -- tôi nghĩ rằng, chúng tôi đang định hình lại ngôn ngữ của mình một cách có hệ thống và ít ý thức để giúp đứa trẻ học được một từ và nhẹ nhàng giúp nó học những từ phức tạp hơn. Và sự ngụ ý của điều này -- có nhiều, nhưng cái mà tôi muốn chỉ ra, là phải có những vòng phản hồi tuyệt vời. Tất nhiên, con trai tôi đang học từ môi trường ngôn ngữ của nó, nhưng môi trường đang học từ nó. Môi trường đó, tức là mọi người, ở trong một vòng phản hồi khép kín và tạo ra một dạng của cấu trúc cho đến bây giờ vẫn chưa được chú ý

Nhưng đó là xét từ khía cạnh ngữ cảnh nói. Vậy còn ngữ cảnh nhìn như thế nào? Chúng ta không đang xem -- Xem đây là một mặt cắt của nhà chúng tôi. Chúng tôi lấy những dữ liệu từ máy quay, và làm vài phép chỉnh quang học, và rồi chúng tôi có thể làm thành mô hình 3 chiều. Và chào mừng đến ngôi nhà của chúng tôi. Đây là một khoảnh khắc, một khoảnh khắc được ghi lại bằng nhiều phía máy quay. Mục đích chúng tôi làm vậy là để tạo một cỗ máy kí ức, nơi mọi người có thể quay lại và bay vòng quanh bằng cách tương tác và rồi thổi cuộc sống trong đoạn phim vào hệ thống này. Cái mà tôi sắp làm là chiếu cho các bạn một đoạn phim tua nhanh có độ dài 30 phút, một lần nữa, về cuộc sống trong phòng khách. Trên sàn nhà là tôi và con trai tôi Và có phần mềm phân tích phim theo vết cử động của chúng tôi. Con trai tôi là vệt màu đỏ, tôi là vệt màu xanh. Chúng tôi đang ở trên ghế, nhìn ra ngoài cửa sổ xem xe chạy. Và cuối cùng, con trai tôi chơi trong chiếc xe tập đi một mình.

Bây giờ chúng dừng lại, 30 phút phim, chúng ta chuyển thời gian thành trục thẳng đứng, và chúng ta mở một tầm nhìn của những vệt tương tác mà chúng tôi để lại. Và chúng ta thấy những cấu trúc tuyệt vời này -- những nút nhỏ của hai dải màu này chúng tôi gọi chúng là những điểm nóng. Dải xoắn chúng tôi gọi là điểm nóng đơn. Và chúng tôi nghĩ rằng chúng ảnh hưởng tới cách mà ngôn ngữ được học. Cái mà chúng tôi muốn làm là bước đầu hiểu được sự tương tắc giữa những hình mẫu và ngôn ngữ mà con trai tôi tiếp xúc để xem nếu chúng ta có thể đoán cái cấu trúc khi từ ngữ được nghe nhận ảnh hưởng tới khi mà chúng được học như thế nào -- nói cách khác, mối quan hệ giữa các từ và nghĩa của chúng.

Vì vậy đây là cách mà chúng tôi tiếp cận. Trong đoạn phim này. Một lần nữa, con trai tôi được đánh dấu. Nó là vạch màu đỏ phía sau Và đây là người giữ trẻ của chúng tôi ở cửa.

(Phim) Người giữ trẻ: Con muốn uống nước hả? (Em bé: Aaaa ) Người giữ trẻ: Được rồi (Em bé: Aaaa )

DR: Cô ta cho uống nước, và để lại 2 vạch tới nhà bếp để lấy nước. Và cái mà chúng tôi làm là sử dụng từ "nước" để đánh dấu khoảnh khắc, một phần hành động đó. Bây giờ chúng tôi sử dụng lượng lớn dữ liệu và ghi nhận mọi thời điểm con trai chúng tôi nghe từ "nước" và ngữ cảnh mà nó thấy xuất hiện từ "nước", chúng tôi sửa dụng nó xuyên qua đoạn phim và tìm mọi hoạt động mà có liên quan tới nước. Và cái mà dữ liệu để lại là một bức tranh. Chúng tôi gọi chúng là bức tranh từ vựng. Đây là một bức tranh về từ "nước", và các bạn có thể thấy hầu hết mọi hoạt động là trong nhà bếp. Đó là nơi có mấy cái đỉnh đó ở phía bên trái. Về độ tương phản, chúng tôi có thể dịch âm thanh này với bất kỳ từ nào. Chúng ta có thể chọn từ "bye" trong từ "good bye." Và chúng ta có thể xem rõ ở cửa ra vào của ngôi nhà. Và chúng tôi xem, và tìm ra, như các bạn có thể đoán được là một sự tương phản trong bức tranh nơi mà từ "bye" xuất hiện nhiều hơn một cách có cấu trúc. Vì vậy chúng tôi sử dụng những cấu trúc này để bắt đầu suy đoán thứ tự của việc tiếp nhận ngôn ngữ. và đó là công việc chúng tôi đang làm bây giờ.

Trong phòng lab của tôi, nơi mà chúng tôi đang làm việc, tại MIT -- đây là ở phòng lab kĩ thuật. Nơi đây trở thành nơi yêu thích của tôi ghi hình về bất cứ không gian nào. Ba trong số những người làm chính trong dự án này, Philip DeCamp, Rony Kubat và Brandon Roy ở trên hình: Philip là một người cộng tác thân thuộc trong tất cả các hình ảnh mà các bạn đang xem. Và Michael Fleischman là một nghiên cứu sinh tiến sĩ khác trong lab của tôi người này mà làm việc phân tích phim ghi hình gia đình này với tôi và anh ta có được quan sát sau: rằng "chỉ có cách là chúng ta phân tích về việc ngôn ngữ liên kết với sự kiện như thế nào để đưa ra nền tảng chung về ngôn ngữ, chúng ta có thể làm ý tưởng giống vậy với nhà của anh, Deb ạ, và chúng ta có thể áp dụng nó vào phương tiện công cộng." Và vì vậy cố gắng của chúng tôi có một chuyển biến ngoài mong đợi.

Suy nghĩ về truyền thông đại chúng là nơi cung cấp nền tảng hiểu biết chung và các bạn có công thức để mang ý tưởng này tới một nơi mới. Chúng tôi đã bắt đầu phân tích nội dung TV sử dụng cũng những nguyên lý như vậy -- phân tích cấu trúc sự kiện của một lần phát sóng TV -- các phần của các chương trình, quảng cáo, tất cả mọi thành phần làm nên một cấu trúc sự kiện. Và chúng tôi hiện tại sử dụng đĩa vệ tinh, lấy và phân tích một mảng hay của tất cả chương trình TV được xem ở Mỹ. Và bây giờ bạn không phải đi và trang bị micro trong phòng khách để ghi lại các cuộc đối thoại của mọi người, bạn chỉ cần chỉnh sang nguồn truyền thông sẵn sàng ở chế độ công khai.

Vì vậy chúng tôi lấy khoảng 3 tỉ ý kiến một tháng. Và rồi điều kì diệu xuất hiện. Bạn có được cấu trúc sự kiện, nền tảng ý nghĩa của các từ xuất hiện từ các chương trình TV; bạn có các cuộc hội thoại về những chủ đề đó: và thông qua phân tích về ngữ nghĩa -- đây thực sự là dữ liệu thực mà bạn đang tìm kiếm từ phân tích dữ liệu của chúng tôi -- mỗi đường màu vàng cho thấy một liên kết hình thành giữa một ý kiện tự nhiên và một mẫu cấu trúc sự kiện từ phát sóng TV. Giờ thì ý tưởng tương tự cũng có thể được xây dựng. Và chúng tôi có bảng từ này. trừ những từ không lấy từ trong phòng khách của tôi. thay vì là ngữ cảnh, các hoạt động chung mới là là nội dung dẫn tới các cuộc nói chuyện trên TV. Và cái mà chúng tôi thấy ở đây, những tòa nhà chọc trời, là nội dung bình luận liên quan tới chủ đề trên TV. Cùng khái niệm, nhưng khi nhìn vào các động lực của việc giao tiếp trên một khía cạnh rất khác.

Động lực đó hình thành theo một cách thiết yếu cần thiết, chứ không hẳn là, như là việc đo lường nội dung dựa trên số lượng người đang xem. điều này cho chúng tôi dữ liệu cơ bản để nhìn vào các tính chất tiềm năng của chủ đề. Và chỉ như cách chúng ta nhìn vào các vòng phản hồi và các hoạt động trong một gia đình, chúng ta bây giờ có thể tạo ra khái niệm giống vậy và nhìn vào một nhóm người lớn hơn nhiều. Đây là tập hợp con của dữ liệu trong cơ sở dữ liệu của chúng tôi == chỉ 50.000 trong hàng triệu dữ liệu-- và biểu đồ xã hội kết nối chúng thông qua các nguồn công cộng sẵn có. Và nếu bạn cho các dữ liệu vào một nơi, một nơi thứ hai để chứa nội dung. Chúng ta có các chương trình và các sự kiện thể thao và các quảng cáo, và tất cả cấu trúc liên kết kết nối các dữ liệu đó với nhau tạo nên một biểu đồ nội dung. Và sau đó là biểu đồ ba chiều quan trọng. Mỗi một liên kết mà bạn đang xem được biểu diễn ở đây là một liên kết thực sự được tạo ra giữa điều mà một ai đó nói ra và kà một phần nội dung. Hiện tại có hàng triệu những liên kết này cho chúng ta mối liên kết của các biểu đồ xã hội và cách mà chúng liên hệ với nội dung. Và chúng ta hiện tại có thể bắt đầu dò tìm cấu trúc bằng những cách thú vị.

Và nếu chúng ta, như là dò con đường của một mẩu tin dẫn dắt người nào đó bình luận về nó, và rồi chúng ta đi theo bình luận đó, và rồi nhìn vào toàn bộ biểu đồ xã hội được kích hoạt và rồi theo ngược về để thấy mỗi liên hệ giữa biểu đồ xã hội và nội dung, một cấu trúc rất thú vị hiện ra. Chúng tôi gọi đó là xem kép, nếu bạn muốn, thì sẽ là phòng khách ảo. Có những động cơ cuốn hút hoạt động diễn ra. Không phải là một chiều. Một mẫu nội dung, một sự kiện, làm cho người nào đó nói. Họ nói chuyện với những người khác. Điều này dẫn đến điều chỉnh hành trở ngược vi với đối tượng truyền thông, và những vòng luân chuyển này điều khiển toàn bộ hành vi.

Một ví dụ khác -- rất khác biệt -- một người thật khác trong cơ sở dữ liệu của chúng tôi -- và chúng tôi tìm thấy ít nhất hàng trăm, thay vì lài hàng ngàn, những người như vậy. Chúng tôi gọi người đó bằng một tên. Đây là một nhà phê bình truyền hình bán chuyên nghiệp có tỉ lệ người hâm mộ cao. Vì vậy nhiều người đang nghe theo người này -- chịu ảnh hưởng rất nhiều -- và họ có khuynh hướng nói về những thứ chiếu trên TV. Vì vậy người này là một liên kết quan trọng trong việc kết nối phương tiện truyền thông và phương tiện xã hội với nhau.

Một ví dụ cuối cùng từ dữ liệu này: Đôi khi nó thực sự là một mẩu tin đặc biệt. Vì vậy nếu chúng ta nhìn vào mẩu tin, Nhà nước liên minh của Tổng thống Obama phát biểu từ vài tuần trước, và nhìn vào cái mà chúng ta thấy trong tập dữ liệu tương tự này, ở một mức độ tương tự, các tính chất hấp dẫn của mẩu tin này là thực sự đáng chú ý. Một cuộc hội thoại bùng nổ trên cả nước trên thực tế là sự phản hồi lại những điều được phát sóng. Và tất nhiên, thông tất cả các đường thẳng này là dòng chảy ngôn ngữ không cấu trúc. Chúng ta có thể chụp X-quang và có được một nhịp thời gian hiện thực của đất nước, cái nhìn thời gian thực về các phản ứng xã hội về những mạch dẫn khác nhau trong một biểu đồ xã hội được nội dung kích hoạt.

Vì vậy, để tóm tắt lại, ý tưởng ở đây là: Khi thế giới giới chúng ta được trang bị công cụ ngày càng nhiều và chúng ta có những khả năng để thu thập và liên kết các chấm giữa những cái mà người ta nói và ngữ cảnh mà họ đang nói. điều mà đem đến một khả năng để thấy các cấu trúc xã hội mới và các động lực điều này trước đó chưa hề thấy được. Nó giống như là xây một cái kính hiển vi hay một cái kính viễn vọng và khám phá ra các cấu trúc mới về hành vì của chúng ta quanh việc giao tiếp Và tôi nghĩ ý nghĩa của việc này thực sâu sắc. dù nó là vì khoa học, để quảng cáo, hay cho mục đích của chính phủ, hay có thể cho tất cả, cho cá nhân chúng ta

và vì vậy quay lại với con trai của tôi, khi tôi đang chuẩn bị buổi nói chuyện này, nó đang nhìn qua vai của tôi, và tôi cho nó thấy những cái đoạn phim mà tôi cho các bạn xem hôm nay, và tôi hỏi sự đồng ý của nó -- và nó chấp nhận. Và rồi tôi tự ngẫm, "Điều đó không tuyệt sao, toàn bộ cơ sở dữ liệu này, tất cả những đoạn thu này, ba sẽ giao lại cho con và em gái của con," đứa em mà được sinh ra 2 năm sau. "Và các con sẽ có thể quay lại và trải nghiệm lại những khoảnh khắc mà với trí nhớ bình thường của mình, các con có thể chưa bao giờ có thể nhớ được như bây giờ." Và nó im lặng một lúc. Và tôi nghĩ. "Tôi đang nghĩ gì vậy? Nó mới 5 tuổi. Nó chưa hiểu điều này đâu." Và ngay khi tôi đang có ý nghĩ đó, nó nhìn lên tôi và nói, "Vậy khi con lớn lên, con có thể chiếu cái này cho con của con phải không?" Và tôi nghĩ, "Wow, đây là thứ đầy quyền lực."

Vì vậy tôi muốn nói cho các bạn về một khoảng khắc cuối từ gia đình tôi. Đây là lần đầu tiên con trai chúng tôi đi hơn 2 bước một lần -- được ghi lại trong đoạn phim. Và tôi thực sự muốn các bạn tập trung vài cái điều như tôi đang dẫn bạn đi đây Đó là một môi trường đầy xáo trộn: nó là cuộc sống tự nhiên. Mẹ của tôi trong nhà bếp, đang nấu ăn, và, tất cả mọi nơi, trong lối đi, Tôi nhận ra nó đang sắp làm việc đó, sắp bước hơn 2 bước. các bạn nghe tôi cỗ vũ con, đang nhận ra điều đang diễn ra, và rồi phép màu xuất hiện. Hãy nghe kỹ Sắp được 3 bước, con trai tôi nhận ra cái gì đó màu nhiệm đang diễn ra. Và vòng phản hồi tuyệt diệu nhất xảy ra, và nó thở vào, và nó thì thầm "wow" và một cách bản năng tôi phản hồi lại như vậy. Và vì vậy quay lại thời gian tới thời điểm đáng nhớ đó.

(Phim) DR: Hey. Tới đây. Con làm được không? Oh, con trai. Con làm được không? Em bé: Yeah. DR: Mẹ, nó đang đi nè.

(Tiếng cười)

(Vỗ tay)

DR: Cảm ơn.

(Vỗ tay)