` 루이스 폰 안: 대규모 온라인 협업

여러분 중에 몇 명이나 이렇게 구불구불한 문자열을 읽어서 웹페이지의 입력양식을 채워 보셨나요? 이것이 정말 짜증난다고 생각하는 사람은 몇 명 정도 되나요? 그렇군요, 아주 많네요. 사실 그건 제가 발명했어요. (웃음) 그걸 발명한 사람들 중의 한 명이었죠.

이런 것을 캡차(CAPTCHA)라고 하죠. 이것을 사용하는 이유는 양식을 입력하는 주체가 수백만 개의 입력양식을 작성하는 컴퓨터 프로그램이 아니라 실제 사람이라는 것을 확인하기 위해서입니다. 이런 방법이 효과가 있는 이유는 우리는 시각장애가 없는 한 이렇게 왜곡된 문자를 읽는데 전혀 문제가 없기 때문이죠. 반면에 컴퓨터 프로그램은 아직 이런것을 잘 읽지 못합니다. 예를 들면, 티켓마스터 사이트에서, [역: 미국의 공연티켓 판매사] 여러분이 이런 구불구불한 문자들을 입력해야 하는 이유는, 암표상들이 컴퓨터 프로그램으로 매번 두장씩 수백만 장의 표를 사는것을 방지하기 위한 것이죠.

캡챠는 인터넷상의 다양한 서비스에 이용됩니다. 그런데 캡차가 그렇게 많이 사용되다 보니 유저의 화면에 나타나는 이런 랜덤 글자들은 어떤때는 히안한 단어를 만들기도 합니다. 그 일례로 이건 야후 서비스의 등록페이지입니다. 사용자에게 무작위로 선택되어 나타났던 문자들이 W, A, I, T이었지요. 즉, 기다리라는 단어가 나온거죠. 하지만 정말 재밌는 것은 20분 후에 야후 고객센터에 접수된 메세지였지요. 메세지 : "도와주세요! 20분 기다렸는데 아무런 반응이 없습니다!" (웃음) 그 유저는 계속 기다려야한다고 생각했던 거죠. 그래도 그건 이 캡차 보다는 낳죠.

(웃음)

캡차는 여기 카네기멜론 대학에서 10년 전에 했던 프로젝트였는데 지금은 누구나 다 사용하죠. 그 후 몇년 후에 우리가 한 프로젝트에 대해서 말씀드리겠습니다. 그것은 개량형 캡차라고 말할 수 있는 리캡차라는 프로젝트였는데 카네기 멜론 대학에서 시작했었고, 그후에는 신생회사가 되었는데 약 1년 반 전에 구글이 그 회사를 인수했죠.

이 프로젝트가 어떤 움직임을 시작했는지 말씀드리죠. 이 프로젝트는 다음과 같은 이유로 시작했습니다. 매일 약 2억 개의 캡차가 전 세계적으로 입력되지요. 제가 이사실을 처음 들었을 때 저는 매우 자랑스러웠지요. "내 연구가 미친 영향력을 봐라!" 하며 좋아했어요. 하지만 저는 좀 미안한 생각이 들기 시작했습니다. 사람들이 캡차 문자열을 입력할 때마다 약 10초 정도의 시간을 낭비하게 됩니다. 그 시간을 2억으로 곱하면 우리는 전체적으로 이 짜증나는 문자열을 입력하기 위해 매일 50만 시간을 낭비하고 있다는 결론이 나옵니다. 그래서 좀 미안하다는 생각을 했어요.

(웃음)

그런데 웹페이지의 보안이 캡차에 의존하기 때문에 캡차를 그냥 버릴 수도 없지요 저는 그래서 캡차를 입력하는 시간을 인류를 위해 좋은 일을 하는데 쓸수 있을까 생각했죠. 자, 이런 생각을 해 보세요... 여러분이 10초 동안 캡차 문자열을 입력할 때 여러분의 뇌는 매우 어려운 일을 하고 있죠. 컴퓨터는 아직 그런 일을 못합니다. 어떻게 하면 여러분이 그 10초 동안 어떤 유용한 일을 할 수 있게 저희들이 도와드릴 수 있을까요? 다시 말하면, 아직까지 컴퓨터가 풀지 못하는 어떤 거창한 문제를 찾아 그것을 10초 단위의 작은 작업단위로 쪼개서 사람들이 캡차 질문에 답을 할때 마다 그 문제의 작은 부분을 해결하게 만드는 것이 가능할까요? 그 질문에 대한 답은 "예" 이며 우리가 지금 하는 일이 바로 그겁니다.

여러분이 모르실지는 모르지만 요즘은 캡차 문자를 입력할 때 사람이 캡차 입력을 한다는 것을 증명할 뿐만이 아니라 저희들이 종이책을 디지털화하는 일을 실지로 도와줍니다. 자, 그럼 제가 좀 더 자세히 설명드리겠습니다. 책들을 디지털화하는 프로젝트는 많이 있습니다. 구글, 인터넷 아카이브, 아마존 그리고 지금은 킨들도 종이책을 디지털화 하려고 노력하고 있습니다. 이런 작업은 주로 오래된 책으로 부터 시작됩니다. 그런것들 보셨죠? 책이라는 것 말이예요? (웃음) 처음에 하는 일은 책을 스캔하는 것이죠.

책을 스캔하는것은 책의 모든 페이지를 디지털 사진기로 찍는것과 비슷합니다. 그렇게 각 페이지의 이미지를 포착해서 그 책에 담긴 텍스트의 모든 이미지를 얻는 거죠. 다음 과정은 컴퓨터가 각 이미지에 있는 단어를 해독하는 것이지요. 우리는 텍스트의 이미지를 읽으며 무슨 글이 써있는지 판독해 주는 광학문자인식(OCR)이라는 기술을 이용합니다. 그런데 문제는 그 OCR 기술이 완벽하지 않습니다. 특히 잉크가 바래고, 페이지가 노랗게 변한 오래된 책은 OCR이 많은 단어를 인식하지 못합니다. 예를들어 50년이 넘은 책들은 컴퓨터가 대략 30%정도를 인식하지 못합니다. 그래서 우리가 지금 하고 있는 작업은 컴퓨터가 인식하지 못하는 모든 단어들을 모아서 여러분이 인터넷상에서 캡챠 문자를 입력할 때 사람들이 그런 문자를 읽게 합니다.

그래서 다음에 여러분이 입력하는 캡차 문자는 디지털화 하는 과정에서 컴퓨터가 인식하지 못했던 것이지요. 그런데 요즘엔 한단어 대신 두단어를 보여주는데 그중 하나는 컴퓨터가 디지털화하다가 판독하지 못했던 단어를 보여주는 것이지요. 그런데 컴퓨터는가 그 단어를 모르기 때문에 정답이 입력됐는지 모르죠. 그래서 컴퓨터는 자기가 답을 아는 다른 단어를 하나 더 화면에 보여줍니다. 그리고는 그냥 두 단어를 모두 입력하라고 하지요. 그래서 컴퓨터가 이미 알고 있는 단어에 대해 여러분이 정답을 입력하면, 여러분을 인간으로 인정하고 다른 단어도 옳게 입력했을거라는 자신을 어느정도 갖게 돼죠. 만약 이런 과정을 10명의 다른 사람들에게 반복하고, 10명 모두가 그 단어를 똑같이 읽으면 그 단어를 정확하게 디지털화 한 것으로 간주합니다.

캡차 시스템은 이렇게 작동합니다. 약 3, 4년 전에 저희들이 이 시스템을 소개한 이후 많은 웹사이트가 시간을 낭비하던 구형 캡차 시스템으로 부터 책을 디지털화하는데 도움을주는 신형 캡차 시스템으로 업그레이드 했지요. 예를들면, 티켓마스터도 업그레이드 했는데 그래서 거기서 표를 살때마다 여러분은 책을 디지털화하는데 도움을 주게됩니다. 페이스북에서는 친구를 추가하거나 누군가를 찜할때 마다 책을 디지털화하는데 도움을 주게 됩니다. 트위터와 약 35만개의 다른 사이트들도 신형 리캡차를 사용합니다. 사실 리캡차 서비스를 이용하는 사이트가 많아서 매일 디지털화되는 단어 수는 정말 엄청나게 많습니다. 일일 대략 1억개 정도가 되는데 이 숫자는 연간 250만권의 책들에 해당하는 숫자이죠. 이건 단순히 사람들이 인터넷상에서 리캡차 단어를 하나씩 입력해서 가능하게 된 것입니다.

(박수)

물론, 우리가 매일 수많은 단어를 다루기 때문에 재미있는 일들이 벌어 질수도 있습니다. 그런데 지금은 무작위로 선택된 영어 단어를 두개 나란히 보여주기 때문에 재미있는 일들이 발생 할 수 있죠. 그 일례로, 우리가 이 단어를 보여줬지요. "Christians" 이라는 단어에는 전혀 문제가 없지요. 그런데 다른 무작위로 선택된 다른 단어를 보여줄때 좋지 않은 일이 발생할 수 있지요. 이런거죠. "나쁜 기독교인" 더 나쁜 상황은 이 단어가 하나님의 왕국 단체라고 불리는 사이트에서 보여 줬다는거죠. (웃음) 이런.. (웃음) 여기 또다른 나쁜예가 있습니다. JohnEdwards.com (텍스트: 젠장할 자유당) (웃음) 그래서 우리는 매일 사람들에게 모욕을 줍니다.

물론 모욕만 하는것은 아니죠. 캡차는 무작위로 선택된 두 개의 단어를 보여 주기 때문에 재미있는 일도 벌어집니다. 리캡차는 수만명의 사람들이 즐기는 캡차 아트라고 하는 매우 인기있는 인터넷 밈을 창출했지요. 캡차아트에 대해 들어보신 분들이 계시겠지요. 어떻게 하는건지 말씀드리죠. 여러분이 인터넷을 사용하다가 흥미있는 캡차 문자를 보면 이런 캡챠 말입니다 (텍스트: 보이지 않은 토스터) 그 화면을 캡쳐하는것입니다. 그리고는 물론 캡챠 문자도 입력합니다. 왜냐하면 책을 디지털화하는 것을 도와야 하니까요. 그리구 나서 앞서 포착한 스크린 숏에 관련되는 그림을 그리는 거죠. (웃음) 이렇게 작동하는 거죠. 수만개의 이런 캡처가 있죠. 어떤 것은 귀엽죠. (텍스트: 꽉 잡아) (웃음) 어떤것은 더 재밌습니다. "취한 설립자들" (웃음) 그리고 "paleontological shvisle" 같은 것에는 Snoop Dogg의 사진이 나타나기도 합니다.

(웃음)

자, 이것은 제가 좋아하는 리캡차 숫자입니다. 이것은 전 프로젝에서 제가 좋아하는 부분입니다. 이 숫자는 리캡차를 통해 최소한 한개의 단어라도 디지털화하도록 도와준 각 사람들의 총 숫자입니다. 전 세계 인구의 10%가 약간 넘는 7억 5천만명이 인간의 지식을 디지털화할 수 있게 우리를 도와주었습니다. 이와같은 거창한 숫자는 저를 격려해 줍니다. 이 숫자가 제 연구에 용기를 주는 이유는 다음과 같습니다. 인류 역사상 대규모의 사람들이 협력하여 지금까지 성취한 거창한 업적들을 살펴보면 -- 예를들면, 이집트의 피라미드, 파나마 운하, 또는 인류의 달착륙 등을 보면 특이한 공통된 사실이 하나 있는데 그것은 모두 비슷한 수의 사람들이 협력해서 달성했다는 겁니다. 그런데 각 경우에 약 10만 명이 일했다는 것은 참 신기합니다. 인터넷 시대 이전에는 10만 명 이상의 임금을 지불하는 것은 고사하고 그들을 관리하는 것이 사실상 불가능했지요. 하지만 지금은 인터넷을 사용해 제가 보여드린 것처럼 7억5천만 명의 사람들이 인간의 지식을 디지털화하기 위해서 저희를 돕고 있습니다. 그래서 제 연구에 용기를 주는 것은 우리가 10만 명의 노력으로 사람을 달에 보낼 수 있다면, 1억명의 사람으로는 무엇이 가능하겠냐는 것이죠.

그래서 이 질문을 기반으로, 저희는 여러 가지 프로젝트를 진행하고 있습니다. 그중 제가 가장 좋아하는 프로젝트에 대해 말씀드리지요. 지난 일년반 동안 저희들이 조용히 진행해 온 일입니다. 아직 공식적으로 발표되지 않은 듀오링고라는 프로젝트죠. 아직 공개되지 않았으니.. 쉬~~ 비밀입니다. (웃음) 저는 여러분이 비밀을 지켜주리라 믿습니다. 이프로젝트는 다음과 같이 시직됐지요. 이 프로젝트는 제가 세버린 해커라는 제 대학원 학생에게 던진 질문으로 부터 시작했지요. 그래요. 이게 세버린 해커입니다. 제가 그 학생에게 그 질문을 던졌죠. 녜, 여러분이 제말을 옳게 들으셨어요. 이 학생의 성이 정말로 해커(Hacker) 예요. 하여튼 제가 그에게 질문을 던졌지요. 어떻게하면 1억명의 사람이 모든 웹페이지를 모든 주요 언어로, 그리고 무료로 번역을 하도록 만들 수 있을까?

자, 이 질문에 대해서 할 말들이 많이 있습니다. 현재 웹은 여러 언어로 갈려져 있습니다. 대부분의 페이지는 영어로 되어 있구요. 영어를 모르면 영어 페이지에 접할 수가 없지요. 하지만 다른 언어로된 웹페이지도 많이 있지요. 물론 그 언어를 모르면 그 웹페이지를 읽을 수 없지요. 그래서 저는 웹의 전체 또는 최소한 일부라도 모든 주요 언어로 번역하고 싶습니다. 바로 그게 제가 하고 싶은 일입니다.

어떤분은 왜 컴퓨터로 번역을 하지 못하냐고 물으실지 모르죠. 왜 기계번역을 사용 할 수 없을까요? 요즘 기계번역한 문장들이 가끔 눈에 뜨입니다. 그런데 웹 전체를 기계로 번역할 수 있을가요? 문제는 아직도 기계번역의 질이 낮다는 것입니다. 아마 앞으로 15 내지 20년 까지는 그럴 겁니다. 기계번역에는 오역이 많이 있습니다. 기계가 한 번역이 오역이 아니더라도 일반적으로 워낙 오역이 많기 때문에 믿지 못하죠.

기계번역의 일례를 보여드리죠. 이 글은 어떤 포럼에 올라온 글입니다. 어떤분이 자바스크립트에 대해 질문하는 글이 었지요. 일본어를 영어로 번역한 것입니다. 한번 읽어보세요. 그는 질문을 하기에 앞서 그의 질문을 컴퓨터로 번역한 것을 먼저 사과합니다. 그 다음 문장은 그의 질문의 서두니까 뭐를 설명하는 거죠. 이 질문은 자바스크립트에 대한 것이라것을 명심하세요. (텍스트: 종종 염소시간에 에러를 설치하는것은 토하는것이다) (웃음) 그리고 질문의 첫번째 부분이 나옵니다. (텍스트: 얼마나 자주 바람, 막대기, 용처럼 ?) (웃음) 그리고 이 질문 중 제가 좋아하는 부분이 나옵니다. (텍스트: 이것 아버지의 돌을 모욕한다?) (웃음) 그리고 이 질문 전체중 제가 좋아하는 마지막 부분이 나옵니다. (텍스트: 여러분의 어리석음을 사과하세요. 많이 감사드립니다.) (웃음) 자, 컴퓨터 번역은 아직 질이 문제입니다. 이제 다시 원래 질문으로 돌아가죠.

우리는 웹 전체를 번역할 사람들이 필요합니다. 그럼 여러분은 번역가에게 돈을 주고 번역을 시키면 되지 않겠냐고 물으실지 모르죠. 전문 번역가에게 돈을 주고 웹 전체를 번역 할 수 있겠지요. 그렇게 할 수 있어요. 하지만 불행히도 비용이 무지막지하게 들어갑니다. 예를들어, 위키피디아 같은 웹 전체의 아주 작은 부분을 스페인어로 번역하려면, 물론 스페인어 위키피디아가 있지만, 영어페이지에 비하면 매우 작은 분량입니다. 영어판의 약 20% 정도지요. 나머지 80%를 스페인어로 번역을 하려면 학대받는 정도로 임금이 저렴한 국가로 아웃소싱하더라도 약 5천만달러가 들겁니다. 웹 전체를 번역하려면 엄청난 돈이 들겠지요. 우리는 모든 웹페이지를 모든 주요 언어로, 그리고 무료로 번역해 줄 1억명 정도의 사람이 필요합니다.

자, 이런식으로 일을 하려면 두 개의 큰 문제가 있다는 것을 금방 알수 있습니다. 첫번째는 이중언어 구사자들의 부족이죠. 웹을 사용하는 사람중 우리의 번역을 도와줄 수 있을 정도로 이중언어를 잘아는 사람이 1억명 정도가 되는가도 의문이죠. 이건 큰 문제입니다. 두번째는 동기와 의욕 문제입니다. 웹을 무료로 번역하도록 어떻게 사람들에게 동기와 의욕을 줄 수 있을까요? 번역을 하려면 보통 돈을 지불해야 하죠. 그런데 어떻게 하면 무료로 번역을 하게 만들 수 있을까요? 애당초에 우리는 이 두가지 문제에 걸렸었지요. 그런데 우리는 한가지 해결책으로 이 두 문제를 동시에 해결수 있다는 것을 깨달았지요. 일석이조의 방법을 찾은거죠. 그것은 번역 작업을 수백만명의 사람들이 원하는 언어교육으로 탈바꿈 시키는 것인데 그렇게 하면 이중언어 구사자가 부족한 문제도 해결할 수 있죠.

현재 전세계에서 외국어를 배우고 있는 사람은 12억명이 넘습니다. 사람들은 정말 외국어를 배우고 싶어합니다. 이것은 단순히 학교에서 배우라고 그래서가 아니지요. 예를들어, 미국만 보더라도, 외국어 교육 소프트웨어에를 살려고 500달러 이상을 지불한 사람이 500만 명이 넘습니다. 사람들은 정말로 새로운 외국어를 배우기를 원합니다. 그래서 저희들은 지난 일년반 동안 듀오링고라는 웹사이트를 개발하고 있습니다. 우리의 기본 아이디어는 사람들이 웹을 번역하면서 무료로 외국어를 배우게 하자는거죠. 간단히 말하면 번역을 하며 외국어를 배우게 하는거죠.

우리는 초보자에게는 매우 간단한 문장을 주지요. 웹 페이지에는 물론 간단한 문장들이 많이 있지요. 우리는 매우 간단한 문장과 각 단어의 의미를 보여주지요. 그러면 다른 사람들이 번역한 것을 보고 번역을 하면서 언어를 배울 수 있지요. 그리고 외국어 수준이 올라갈 수록 우리는 번역하기 더 복잡한 문장들을 보내죠. 계속해서 실지로 번역을 하면서 배우는 거죠.

그런데 히안한 것은 이 방법이 외국어를 배우는데 매우 효과적이라는 겁니다. 사람들이 이런 방법을 사용해서 정말로 외국어를 배웁니다. 우리는 이 시스템을 거의 완성했고 지금은 테스트중이죠. 듀오링고를 통해 정말로 외국어를 배울 수 있습니다. 듀오링고의 성과는 일류 외국어 학습 소프트웨어와 비등합니다. 그래서 사람들은 정말로 언어를 배울 수 있죠. 듀오링고는 다른 방법에 못지 않게 외국어를 쉽게 배울 있수 있을 뿐만아니라 실제 컨텐츠를 사용하기 때문에 더 흥미가 있지요. 꾸며서 만든 문장과는 달리 실제 컨텐츠를 사용하니까 본질적으로 더 흥미가 있지요. 그래서 사람들은 정말로 외국어를 배우게 되지요.

하지만 더욱 놀랄만한 것은, 우리의 사이트에서 얻어낸 번역물들은 초보자의 번역도 전문 번역가의 번역물 만큼 정확하다는 것입니다. 한가지 예를 보여드리지요. 이 문장은 독일어를 영어로 번역한 것입니다. 윗부분은 독일어입니다. 중간 부분은 단어당 20센트를 받던 영문 전문 번역가가 번역한 문장입니다. 그리고 밑 부분은 듀오링고 서비스를 사용하기 전에는 독일어를 전혀 몰랐던 듀오링고 사용자가 번역한 문장입니다. 보시듯이 거의 완벽한 번역이라고 할 수 있죠. 물론 우리는 전문 번역가의 수준에 도달하기 위해 약간의 속임수를 쓰죠. 우리는 전문 번역가 수준에 도달하도록 여러 초보자자들의 번역을 합치지요.

우리가 여러 사람들의 번역을 합친다고 해도 듀오링고는 꽤 빨리 번역을 할 수 있습니다. 제가 보여드리죠. 이 슬라이드는 영문 위키피디아를 스페인어로 얼마나 빨리 번역 할 수 있는지를 보여주는 예측 수치입니다. 이건 5천만달러에 해당하는 외국어 교육 시스템이라는 것을 기억하세요. 위키피디아를 스페인어로 번역한다면, 듀오링고는 약 10만 명의 유저가 도와주면 5주 안에 할 수 있지요. 그리고 백만 명이 도와주면 80시간 이내에 할 수 있습니다. 저희가 지금까지 해온 모든 프로젝트에는 모두 수백만명의 유저가 있었으니까 듀오링고 프로젝트를 사용하면 정말로 빨리 번역을 할 수 있을 겁니다.

이제 제가 듀오링코에 대해 가장 기쁘게 생각하는 것은 언어교육에 대해 공정한 사업모델을 제공한다는 점입니다. 바로 이런것이죠. 현재의 언어교육 모델은 학생이 비용을 지불하는 것인데, 특히 학생들이 로제타스톤에 500달러를 주는 것이지요. (웃음) 그게 현재 사업모델이죠. 이런 사업모델의 문제점은 전 세계 인구의 95%는 500달러를 가지고 있지 않다는 점입니다. 그래서 가난한 사람들에게는 매우 불공정한 모델입니다. 이것은 부자들에게 편향된 사업모델이지요. 자 보시죠, 듀오링고에서는, 사용자들이 배우면서 번역이라는 가치를 창조하게 됩니다. 예를들면, 누구에게 번역료를 과금할 수 도 있다는 것이죠. 즉, 이런식으로 돈을 벌 수도 있다는 말이지요. 듀오링고 유저들은 배우면서 가치를 창조하기 때문에 돈을 지불 할 필요가 없죠. 이미 시간으로 지불하니까요. 그런데 여기서 기가 막히게 좋은 것은 유저들이 시간으로 교육비를 내지만 그시간은 어차피 언어를 배우는데 소비해야 하는 시간이라는 거죠. 그래서 듀오링고의 정말로 좋은 점은 가난한 사람들을 차별하지 않는 공평한 사업모델을 제공한다는 것입니다.

이게 그 사이트입니다. 감사합니다. (박수) 이것이 듀오링고 사이트입니다. 아직 공식으로 발표하지는 않았지요. 하지만 그 사이트에 가보면, 베타 서비스에 가입 할 수 있는데, 이 사이트는 아마도 3, 4주내로 작업을 시작 할 것입니다. 듀오링고 사이트는 아직 공식으로 발표되지 않았습니다.

여기서 제가 혼자 듀오링고에 대해 말하고 있지만 듀오링고는 다음을 포함한 정말로 훌륭한 팀의 협력작입니다. 감사합니다.

(박수)