Pranav Mistry: SixthSense 기술의 놀라운 잠재력

우리는 실제 물건들이 상호작용하는 실세계에서 자라왔습니다. 매일매일 사용하고 있는 물건들은 정말 놀랍도록 많습니다. 이런 물건들은, 컴퓨터 같은 계산 장치들과는 달리 이용하는 것이 훨씬 재미있습니다. 어떤 물건에 대해서 얘기를 한다면, 다른 개념이 자동적으로 따라오게 되는데, 우리가 이 물건들을 실생활에서 어떻게 잘 이용하고, 다룰 것인지, 곧, 제스쳐가 그것입니다. 우리는 제스쳐를 통해서 물건들과 상호작용 하기도 하지만, 서로간에 소통하기 위해서도 사용하기도 합니다. "나마스테" 라는 제스쳐는, 다른 사람에 대한 예의가 되겠구요, 또는 -- 인도에서는 이러한 제스쳐가 크리켓에서 "4" 를 의미한다는 것을 가르칠 필요가 없습니다. 이런 것들은 우리의 일상적인 경험에서 배워집니다.

그런 관점에서 저는, 처음부터, 어떻게 우리의 일상적인 도구들과 제스쳐에 대한 지식과 경험을, 디지털 매체와 더 효과적으로 상호작용 하는데 사용 할 수 있는가에 대해서 많은 관심이 있어 왔습니다. 키보드와 마우스를 사용하는 대신에, 실생활에서 물건들을 사용하는 것과 같이 컴퓨터를 사용 할 수 없을까요?

이건 약 8년 전에 했던 실험입니다. 글자 그대로 제 책상 위의 마우스에서 부터 시작했습니다. 마우스를 컴퓨터에 연결해서 사용하는 대신, 분해 했습니다. 많은 분들이 기억하시겠지만, 그때에는 대부분의 마우스들이 공을 내장하고 있었고, 여기에 두 개의 롤러가 있어서 실제로 공이 어떻게 움직이는지 감지하여 마우스가 어떻게 움직이는지를 전달 했습니다. 저는 이 두 개의 롤러에 집중했습니다. 사실 두 개의 롤러로는 부족했기 때문에 친구의 마우스를 빌렸습니다. 다시는 돌려주지 않았지만요. 그렇게 네 개의 롤러를 갖게 되었습니다. 이렇게 갖게 된 롤러들을, 마우스로 부터 떼어내어, 한 줄로 배열했습니다. 그리고 줄과 도르래와 스프링으로 연결 했습니다. 이렇게 저는 기초적인 제스쳐 인터페이스 장비를 갖게 되었습니다. 이것은 실제로 만드는데 2 달러 밖에 들지 않은 모션 감지 장치입니다. 이렇게, 제가 실제 세계에서 어떻게 움직이는지에 따라 디지털 속에서 행동을 따라합니다. 지난 약 8년 전인 2000 년에 제가 만들었던 장비입니다.

저는 실생활과 디지털세계를 통합하는데 관심이 많았기 때문에, 이런 sticky note (역주: 포스트잇) 장비를 생각해 냈습니다. "실생활에서 일상적으로 사용하는 sticky note 같은 물건을 디지털에서 사용 할 수는 없을까?" 라고 생각했던 것입니다. sticky note 를 통해 종이 위에 적혀진 메세지는 SMS 로 전달 될 수 있고, 제 일정 관리 프로그램과 자동적으로 연동하여 일정을 관리 하는데 사용 될 수 있습니다. 자동적으로 연동되는 할 일 리스트입니다. 또한 이 것을 디지털 매체 속에서, 검색을 하거나 질의를 할 수 있습니다. 이를테면, "Smith 박사의 주소는?" 과 같이 말입니다. 그러면 작은 시스템에서 실제로 프린트 해서, 포스트잇 같은 종이 입출력 시스템으로 유사하게 작동하는 것입니다. 실제 종이를 이용해서요.

또 다른 실험에서는, 펜으로 3차원을 그릴 수 있도록 해 보았습니다. 이 펜은 디자이너나 건축설계사들이 사용할 수 있도록 만들어 보았습니다. 단순히 3차원을 상상하는 것이 아니라, 실제로 그려 볼 수 있기 때문에 훨씬 직관적으로 와 닿습니다.

그리고서 생각했습니다. "왜 Google Map 같은 것은 실생활에는 없을까?" 무언가를 찾기 위해서 키보드를 치는 것이 아니라, 물건을 그 위에 올려 놓으면 됩니다. 이를테면, 비행기 탑승권을 올려 놓으면 탑승구가 어디 있는지 알려 줍니다. 커피 컵을 올려 놓으면 커피를 마실 수 있는 곳, 또는 컵을 버릴 수 있는 곳을 알려줍니다.

이런 일찍이 제가 했던 실험들은 두 세계 - 물리 세계와 디지털 세계 - 를 보다 깔끔하게 연결하려는 시도였습니다. 그런데 이 모든 실험들에는 한 가지 공통점이 있었습니다. 저는 물리 세계를 디지털 세계로 옮기려고 했던 것입니다. 어떤 물체나, 실생활의 직관적인 인터페이스를 디지털 세계로 옮겨 가져와서 디지털 세계의 장비들을 좀 더 직관적으로 다룰 수 있도록 하는 것을 목적으로 하고 있었던 것입니다.

하지만 우리 인간은 본질적으로 컴퓨터 자체에 관심이 있는 것이 아니라는 것을 깨달았습니다. 우리가 관심이 있는 것은 정보입니다. 우리가 알고 싶어 하는 것은 실생활의 것입니다. 우리는 우리 주변에서 어떤 일들이 벌어지고 있는지 알고 싶어 합니다.

지난해 초부터, 저는 이렇게 생각하기 시작했습니다. "이전에 했던 접근법을 반대로 생각하면 어떨까?" 곧, "디지털 세계의 디지털화 된 정보들을 실생활에 그려내면 어떨까?" 하는 것입니다. 지금의 디지털 화소는 주머니에 들어갈 정도로 작게 나오고 있기 때문에 그런 것이 가능합니다. 그렇다면 이런 크기의 제약을 없애고 일상적인 물건과 일상 생활속으로 가져와서 이 픽셀들을 다루는데 새로운 제스쳐를 배울 필요가 없다면 어떨까요?

이 꿈을 실현시키기 위해서 저는 거대한 프로젝터를 제 머리 위에 얹어 봤습니다. 이래서 이런 것을 Head-Mounted 프로젝터라고 하죠. 그렇죠? 저는 실제로, 자전거 헬멧을 약간 잘라내어 그 안에 프로젝터를 끼워 넣어 보았습니다. 그렇게 함으로써 이제 제 주변의 세상을 디지털 정보들로 채워나갈 수 있게 되었습니다.

그리고 얼마 후에, 저는 이 디지털 화소들을 다뤄보고 싶다는 생각 또한 했습니다. 그래서 여기에 조그만 카메라를 달아서 시각장치로 작동하게 하였습니다. 얼마 후에, 우리는 이 보다 훨씬 좋은, 많은 분들이 SixthSense 장비로 알고 계시는 소비자에게 다가 설 수 있는 목걸이형 장비를 갖게 되었습니다.

하지만 무엇보다도 이 기술의 가장 큰 장점은 여러분의 디지털 세상에 있는 것들을 어디에서든지 활용 할 수 있다는데 있습니다. 어떤 표면이던, 주변에 있는 어떤 벽도 인터페이스로 사용 할 수 있습니다. 내장된 카메라가 손 동작을 인식하여 그 제스쳐를 이해하고 적절한 동작을 합니다. 또한, 여기 보시는 것과 같이 초기 버전에서 사용 했던 것 같은 색깔 마커를 사용하면 어떤 벽에던지 그림을 그릴 수 있습니다. 지나가다가, 벽에 그림을 그릴 수 있죠. 하나의 손가락만 인식 할 수 있는 것이 아닙니다. 이처럼요. 양 손가락 모두를 사용하여 제스쳐를 만들 수 있는 자유를 부여하여, 두 손으로 현재 위치의 지도를 확대하거나 축소 할 수 있습니다. 이 카메라는 실제로 영상들을 수집하면서 선분 인식과 색상 인식 기술을 통해 내부의 많은 작은 계산들을 수행합니다. 기술적으로는 조금 복잡하지만, 사용하는데엔 훨씬 직관적인 결과를 제공합니다.

이것을 더 잘 활용할 수 있는 곳은 야외입니다. 주머니에 카메라를 넣고 다닐 것이 아니라 제스쳐를 취하면 사진을 찍어 줍니다.

(박수)

감사합니다.

그런 후에 아무 벽에서나 이 사진들을 둘러 보면서 "이 사진은 조금 수정해서 친구에게 email 로 보내야겠다" 고 생각 할 수 있습니다. 이제, 우리는 디지털 세상이 실제로 실세계와 통합된 시대에 살게 되었습니다. 만약, 프로젝터를 사용 할 마땅한 표면이 없다면, 여러분의 손바닥으로 간단한 조작을 할 수 있습니다. 여기서는 제가 제 손을 사용해서 전화를 걸고 있습니다. 카메라는 단순히 이 손의 움직임만을 인식하는 것이 아니라, 재미있게도, 손에 어떤 물건을 쥐고 있는지도 인식하는 것이 가능합니다.

만약에 손에 들고 있는 것이 -- 이를테면, 책이라면, 이 책 커버의 이미지를 온라인에 있는 이미지와 대조해서 이 책이 어떤 책인지 알려줍니다. 어떤 책인지 특정한 다음에는 책에 대한 리뷰들을 검색해 보여주고, 뉴욕타임즈와 같은 것이라면 음성 개요가 있어서, 책에 대한 정보를 실제 음성으로 들을 수 있습니다. ("하버드 대학에서 있었던 유명한 연설에서...")

이것은 지난주 오바마 대통령의 MIT 방문에 대한 것입니다. ("... 저는 특히 MIT 의 두 가지 놀라운 점에 대해 감사를 표하고자 합니다 ...") 이렇게, 신문을 통해서 기사에 적힌 "라이브 영상" 을 볼 수 있습니다. 여러분의 신문은 앞으로 기상 예보 기사를 컴퓨터를 통해서 실시간 업데이트를 하는 것 보다 이런 식으로 하게 될 것입니다.

(박수)

이제 돌아갈 때가 되면, 저는 제 비행기 표를 통해서 비행 시각이 얼마나 연착되었는지 확인 할 수 있습니다. 바로 이런 시점에, iPhone 같은 장치를 열어서, 특정 Icon 들을 눌러 가면서 시각을 체크 해 보고 싶지는 않습니다. 제 생각이 이 기술은 단순히 방식상의 변화가 아니라 -- 맞습니다. (웃음) 이것은 우리가 사람들간에 관계를 맺는 방식 또한 바꾸어 놓을 것입니다. 물론 실생활에서 만의 이야기는 아닙니다. 특히 재미있는 부분입니다. 저는 보스턴에서 지하철을 타면서 열차 안에서 pong game 을 하고 있습니다. 바닥에 대고요. (웃음) 제 생각에는, 여러분의 생각만이 어떤 기술을 실생활에 접목시킬까 하는 상상력의 장애물이 될 것이라고 봅니다.

많은 반론들이 있을 수 있겠습니다만, 우리의 일상 생활 업무들이 단지 현실적인 물건들만을 다루는 것은 아닙니다. 실제 업무에서는 회계라던지, 원고 수정과 같은 일들 또한 합니다. 이런 것은 어떻습니까? 또, 많은 분들이 곧 출시될 다음 세대 타블렛 컴퓨터를 기다리고 계실텐데, 그것을 기다리는 대신에 저는 제 타블렛 컴퓨터를 종이 한 장으로 만들었습니다. 제가 여기에 작업한 것은 마이크를 내장한 웹캠으로 부터 마이크를 떼어내서, 이렇게 클립으로 만들어서 마이크를 붙인 클립입니다 어디에서나 구할 수 있는 종이조각에 붙입니다. 이제 종이를 만지는 소리로 제가 종이를 만지고 있다는 것을 인식 할 수 있습니다. 그리고 카메라는 손가락이 어떻게 움직이고 있는지 인식합니다.

당연히 영화를 볼 수도 있구요, ("안녕하세요, 저는 Russell 이라고 합니다...") ("... 저는 Tribe 54 에 속한 야생 탐험가입니다....")

물론, 게임을 할 수도 있습니다. (자동차 엔진 소리) 여기에 있는 카메라가 종이를 어떻게 잡고 있는지 인식하여 자동차 레이싱 게임을 할 수 있습니다. (박수)

많은 분들이 이미 예상하셨겠지만, 네, 웹서핑을 할 수도 있습니다. 예, 물론 어떤 웹사이트도 돌아 볼 수 있습니다. 그 외의 컴퓨터로 할 수 있는 모든 것을, 이 종이 한 장을 통해서 언제든지 할 수 있습니다. 또한, 그 이상으로, 이것을 활용한 더 재미있는 방안이 무엇이 있을까요? 여기에 제 자리로 돌아와서 제가 정리했던 내용을 제 데스크탑으로 집어 옮길 수 있습니다. 바로 컴퓨터에서 활용 할 수 있도록 말입니다.

(박수)

또, 왜 꼭 컴퓨터여야 하나요? 종이를 갖고 놀 수도 있습니다. 종이는 또 갖고 놀기 좋은 즐거운 세계입니다. 여기에 저는 문서의 한 부분을 집어내어 여기 두 번째 부분의 두 번째에 붙입니다. 이렇게 해서 이 쪽에 있는 정보를 실제로 수정 할 수 있습니다. 예, 그런 후에 "괜찮은데, 한 번 프린트해서 보자" 싶다면 그 자리에서 바로 프린트를 해서 이제 -- 우리가 약 20년 전 부터 작업해 오던 두 문장을 비교하는 작업을 여기에서는 훨씬 더 직관적인 방법으로 작업 할 수 있습니다.

이제 마지막으로, 매일같이 접하는 일상적인 대상들의 정보를 통합하여 단순히 디지털 기기들을 없애는 문제가 아니라, 이 두 세상의 간격을 좁혀나가는 것이 좀 더 인간적으로 살아가는데, 좀 더 실세계와 연결된 인간으로서 사는데 도움을 줄 것이라고 봅니다. 이렇게, 우리는 기계 앞에 앉아 있는 또 다른 기계에서 벗어 날 수 있는 것입니다.

이상입니다. 감사합니다.

(박수)

감사합니다.

(박수)

Chris Anderson: 네, Pranav, 일단, 당신은 정말 천재적이라고 하고 싶습니다. 정말 대단한 일입니다. 이것들로 어떤 일을 하려고 합니까? 회사를 설립할 계획이 있나요? 아니면 연구로 남게 되는 것인가요? 다른 계획은?

Pranav Mistry: 제가 있는 Media Lab. 을 후원하는 이동통신사 같은 많은 기업체들이 이 기술을 여러 곳에 이용하려는 시도를 하고 있습니다. 또한, 인도의 NGO 들은 "왜 SixthSense (육감) 인가? 말 못하는 장애인들을 위한 'FifthSense' 장비를 통해서 그들이 실제로 말 할 수 있도록 해야 한다" 고 접근합니다. 이 기술은 장애인들이 말 할 수 있는 또 다른 방식의 시스템이 될 것입니다.

CA: 당신 자신의 계획은 어떻습니까? MIT 에 남게 되나요, 아니면 이 기술을 갖고 다른 곳에 갈 것인가요?

PM: 저는 이 기술을 좀 더 사람들에게 널리 퍼뜨리고 싶습니다. 누구라도 자신의 SixthSense 장비를 개발하고 싶은 사람이 있으면 자신만의 기기를 만드는 것은 그렇게 어려운 일이 아닙니다. 그들을 위해서 대략 다음달 부터는 그들을 오픈소스 소프트웨어로 지원할 생각입니다.

CA: 대단한 계획입니다.

(박수)

CA: 이런 것들을 가지고 언젠가는 인도로 돌아오시겠죠?

PM: 아 예, 물론입니다.

CA: 계획은 어떻습니까? MIT? 인도? 자신의 시간을 어떻게 분할해서 사용 할 예정입니까?

PM: 이 곳에는 넘치는 에너지와 배울 것들이 있습니다. 이 작업들은 제가 인도에서 보고 배웠던 것을 활용한 것입니다. 이제, 만약에 비용대비 효용성을 본다면 이 시스템은 $300 정도 밖에 들지 않습니다. 비슷한 작동을 하는 $20,000 달러짜리 화상 테이블 같은것에 비하면 말입니다. 또는 $2 달러의 마우스 제스쳐 시스템 또한 당시에는 $5,000 달러 정도 하던 것이었습니다. 우리는 실제로 -- Abdul Kalam 대통령 앞에서 시연 했을 때 -- 그는, "좋습니다. 우리는 Bhabha 원자 연구 센터에서 저걸 써 보면 좋겠습니다." 라고 했습니다. 저는 이렇게 이 기술들을 여러 분야에 활용하는 것이 단지 연구실의 연구로 남겨두는 것 보다 훨씬 더 기대됩니다.

(박수)

CA: 우리가 TED 를 통해 보았던 사람들에 기반해 보았을 때 당신은 정말 지금 이 세상에 최고의 발명가를 꼽으라면 반드시 그 안에 들어갈 것 같습니다. TED 에서 뵐 수 있어 영광이었습니다. 감사합니다. 환상적인 기술이었습니다.

(박수)