데이빗 메릴: 생각하는 장난감 블록 '시프터블'에 대하여

시작하기 전에 블록을 가지고 놀았던 어린 시절을 회상해 주시기 바랍니다. 손을 뻗어 쥐고 집어들고 움직이는 법을 배우는 동안 여러분은 사실 사고하고 문제를 해결하는 방법을 배우게 되죠. 공간적 관계를 이해하고 조작하면서 말입니다. 공간적 논리는 우리가 세계를 이해하는 방식과 깊게 관련돼 있습니다.

그래서 저는 컴퓨터 과학자로서 물리적 대상과의 상호작용 방식에서 영감을 얻어서 조언자 패티와 공동 연구자 지반 칼라니시와 함께 이것에 대해 호기심을 갖기 시작했습니다. 우리가 컴퓨터를 사용할 때 디지털 손가락처럼 평면 데스크탑 위를 이동하는 하나의 마우스 커서 대신에 정보를 두 손으로, 물리적으로 쥐고 원하는 방식으로 배열할 수 있으면 어떨까? 너무 흥미로운 질문이라서 우리는 그 답을 찾기로 했고 '시프터블'을 개발하게 됐습니다.

간단히 말해 '시프터블'은 인터액티브 컴퓨터입니다. 쿠키 정도 크기죠. 손으로 움직일 수 있고 서로를 감지할 수 있고, 움직임을 감지할 수 있고, 모니터와 무선 라디오가 내장돼 있습니다. 가장 중요한 것은 물리적이라는 것이죠. 블록처럼 잡아서 움직일 수 있습니다. 시프터블은 디지털 정보를 조작하는 새로운 생태계의 한 예입니다. 이런 도구들이 더 물리적으로 변하고, 움직임을 인식하고 서로를 인식하고 우리가 그것들을 어떻게 움직이는지 정교하게 인식하게 되면 새롭고 재미있는 상호작용 방식의 탐구가 시작됩니다. 간단한 예를 가지고 시작하겠습니다.

이 '시프터블'은 비디오를 출력하기로 설정돼 있습니다. 한쪽으로 기울이면 비디오가 이쪽으로 기울어지고 반대로 기울이면 비디오도 돌아옵니다. 이 인터액티브 초상화들은 서로를 인식합니다. 나란히 두면 서로에게 흥미가 생기죠. 둘러싸이면 그것도 감지합니다. 조금 당황할 지도 모르죠. 움직임과 기울기도 감지할 수 있습니다.

상호작용이 갖는 흥미로운 의의 중 하나는 일상적인 동작을 데이터에 적용하는 것임을 깨달았습니다. 예를 들어 액체를 따르는 것처럼 색깔을 따르는 것이요. 이번에는 여기 페인트통으로 설정된 '시프터블'이 세 개 있습니다. 이들을 이용해서 가운데 시프터블에 색깔을 따를 수 있고 색깔들이 섞이게 됩니다. 너무 많이 들어갔으면 다시 따라낼 수도 있습니다.

또 교육에 응용할 수 있는 좋은 기회들도 있습니다. 언어, 산수, 논리 게임에요. 저희는 사람들이 여러가지를 빠르게 시도하고 그 결과를 곧바로 볼 수 있기를 바랍니다. 그래서 여기서 저는... (박수) 이것은 간단한 계산 프로그램을 이용한 피보나치 수열입니다.

이건 스크래블과 보글을 섞은 단어 게임입니다. 매 라운드마다 각 '시프터블'에 글자가 무작위로 정해지는데 단어를 만들려 하면 시프터블이 사전을 검색합니다. 30초가 지나면 다시 섞이고 새로운 글자들을 가지고 다시 시도해야 합니다.

(박수) 감사합니다. (박수)

여기 미디어 랩으로 체험학습을 나온 아이들이 있습니다. 한 번 해보라고 하고 동영상으로 찍었죠. 아이들이 정말 좋아했어요. 그리고 이런 장치가 흥미로운 이유 중 하나는 사람들에게 설명을 많이 해줄 필요가 없다는 겁니다. "단어를 만드세요."라고만 하면 됩니다. 그러면 뭘 해야 할지 정확히 알죠.

여기 시도하는 다른 사람들도 있습니다. 오른쪽 하단에 저희들의 최연소 베타테스터가 있네요. 얘는 '시프터블'을 쌓아올리는 데에만 관심이 있었어요. 아기에게 이것들은 평범한 블록에 불과했죠. 이건 인터액티브 만화 프로그램인데 언어를 배우는 아이들을 위한 학습 툴을 만들고 싶었어요. 이건 필릭스인데 그 캐릭터가 표시된 '시프터블'을 탁자에서 들어올리기만 하면 장면에 새로운 캐릭터들을 불러올 수 있습니다. 여기, 해를 부르고 있죠.

해가 뜨고 있어요.

이번엔 경운기를 불러왔습니다.

주황색 경운기에요. 잘 했어! 와!

'시프터블'을 흔들고 나란히 배열하면 캐릭터들이 상호작용하게 됩니다.

멍멍!

자기만의 이야기를 만들면서요.

안녕!

결말이 열린 이야기고 어떻게 진행될지 아이가 직접 정할 수 있습니다.

고양이야, 날아가!

제가 오늘 보여드릴 마지막 예는 최근에 개발한 음악 시퀀싱 및 라이브 연주 툴입니다. 여기서 '시프터블'은 리드, 베이스, 드럼과 같은 음원에 해당되죠. 각각 네 가지 변주가 있는데 어떤 것을 사용할지 직접 선택할 수 있습니다. 이 음원들을 시퀀스에 주입하고 원하는 패턴으로 조립할 수 있죠. 음원 시프터블을 시퀀스 시프터블과 접촉시키면 음원이 주입됩니다. 리버브나 필터처럼 라이브로 조절할 수 있는 효과도 있어요. 특정 음원에 연결하고 기울이면 조절이 됩니다. 그리고 속도나 음량과 같은 전체 효과는 시퀀스 전체에 적용됩니다. 한번 보죠.

(음악 재생)

일단 시퀀스 '시프터블' 두 개에 리드를 주입하고 연속해서 배열하고, 연장하고, 리드를 조금 더 넣겠습니다. 그 다음에 베이스라인을 넣습니다.

(음악 재생) 퍼커션도 좀 넣고요. (음악 재생)

이제 필터를 드럼에 연결해 라이브로 효과를 조절하겠습니다.

(음악 재생)

속도 '시프터블'을 기울여서 시퀀스 전체를 빠르게 만들 수 있습니다.

(음악 재생)

이제 필터를 베이스에 연결해 더 세밀한 표현을 해보죠.

(음악 재생)

재생 중에 시퀀스를 재배열할 수 있습니다. 미리 계획을 짤 필요 없이 즉흥적으로 연주할 수 있고 하면서 길이를 늘이거나 줄일 수 있습니다. 마지막으로 음량 '시프터블'을 왼쪽으로 기울여 시퀀스 전체를 페이드아웃시킬 수 있습니다.

(박수) 감사합니다.

보시다시피 저의 관심사는 우리의 두뇌와 신체에 보다 적합한 새로운 인간-컴퓨터 인터페이스를 만드는 것입니다. 오늘 저는 여러분에게 새로운 디자인 공간 상의 한 지점과 실험실에서 개발한 몇 가지 가능성을 보여드렸습니다. 여러분에게 전하고 싶은 발상은 우리는 현재 디지털 미디어와의 상호작용을 가능케 하는 새로운 도구의 시대, 그 첨단에 도달했으며 우리들의 방식으로 정보를 활용하게 될 것 입니다. 감사합니다. 앞으로 많은 이야기 나누기를 바랍니다.

(박수)