我们从五百万本书里学到了什么

Erez Liberman Aiden：人说 一副画面抵过一千个词 但是我们在哈佛大学 却在思考这是不是一定正确 （众人笑） 我们召集了各方专家 他们来自哈佛 麻省理工 《英国大百科全书》 《美国传统英语字典》 还有我们骄傲的赞助商 谷歌 我们思考了 大概四年 最后得出一个惊人的结论 女士们先生们 一副画面可不止一千个词那么简单 事实上 我们发现有时候 一幅画面抵过5千亿个词

Jean-Baptiste Michel: 我们是如何得出这个结论的呢 是这样的 Erez和我 在想怎样找到一幅展现人类文明 和人文历史的画面： 历史的变迁 人们在漫长岁月中写了很多书 所以我们想 向他们学习的最佳方法 就是把那几百万本书全都读完 当然 如果用坐标来表示这样做的好处 那Y轴上的值一定是极高的 但问题是还有X轴 也就是可行性 这是极低的

（众人鼓掌）

现在人们倾向于另一种做法 那就是选择几本书进行精读 可行性极高但还不够好 人们真正想要的 是一个既好又可行的方法 结果 在水一方 有一家叫“谷歌”的公司 他们在此之前的几年前就开始了一个数字化工程 有可能帮我们找到这个“既好又可行”的方法 他们已经将几百万本书进行了数字化 这就意味着人们在电脑上点几个键 就能阅读所有的书 这真的是既可行又好

这些书是哪里来的呢 从古时候开始 人们就开始写作了 这些作家写书都非常卖力 几个世纪前印刷机问世了 写书的过程变得简单多了 自那以后 作家们已经出版了 1.29亿本书 如果这些书没有随年月而遗失 就都在图书馆里存着 谷歌已经把许多书从图书馆中调了出来 进行了数字化 被扫描的书籍到目前已有1500万册

谷歌扫描图书时 把书的格式做得很好 现在我们不但有了数据 还有元数据 我们掌握了这些书的出版地 作者 出版时间等信息 接下来 我们就要从所有这些记录中 筛选出质量最高的数据 最后剩下的 是5百万本书 5000亿个词 这么多词连起来 长度是人类基因组的1000倍 如果把这些词连续写出来 其长度相当于在地月之间 往返10次以上 这还仅是我们文化基因组的小小一段 当然啦 面对如此令人崩溃的结果 （众人笑） 我们做了一个懂得自重的研究者 应该做的事 我们借鉴了XKCD（科学漫画） 说：" 往后站。 我们要用科学来解决问题。”

（众人笑）

当然 这时我们在想 何不先把数据放上去 让人们通过科学来运用数据 现在我们在思考 哪些数据可以公开 你当然想把这所有5百万本书 全文公开 现在谷歌 具体地说是乔恩. 奥温特 告诉教给我们一个有用的方程式 你有5百万本书 那就有五百万个作者 一个有5百万个原告的官司可不小啊 所以尽管这是个好想法 但是也极不现实 （众人笑）

现在我们做出些许让步 采用一个非常可行但稍微没那么好的方法 我们不公开全书内容 而是公开书本的相关统计数据 拿“A gleam of happiness”这个词组做例子 它有四个单词 我们称它为四字格 我们会告诉你直到2008年出版的书中 在1801年 1802年 1803年一直到2008年 某个四字格一共出现了多少次 这让我们看到 这个词组在这段时期内被使用的频率 我们对在这些书中的所有单词和词组都这么处理 于是我们得出了一个由20亿曲线 表示出文化变化的情况

这20亿条曲线 我们成作20亿个n字格 它们告诉了我们什么 这些n字格衡量的是文化的走势 我来举个例子 假设 我正在发财 明天我告诉你我发财的情况 我会说：“昨天，我发了。” 也可以说：“昨天，我发财了。” 我到底应该用哪个说法呢 怎么找答案

6个月以前 很流行的做法是 比如说 你去问这位秀发飘逸的心理学家 你说 “史蒂夫，你是不规则动词的专家。 我该怎么办啊？” 他会说：“大多数人说‘发财了’， 但有些人说‘发了’。” 如果你可以 回到200年前 问问这位秀发同样飘逸的政治家 （众人笑） “托马斯，我该怎么说？” 他会回答：“嗯，在我的时代，大多数人说‘发了’， 但是少数人说‘发财了’。” 现在我给你们看一个原始数据 这是20亿本书中的其中两本书的曲线 你们将看到“发了”和“发财了”这两个词 随时间的推移被使用的频率 这还只是 20亿条曲线中的其中两条 整套数据 比这张幻灯片要宏伟10亿倍

（众人笑）

（众人鼓掌）

很多画面都相当于5千亿个词 比如这一幅 如果你找“流行感冒”这一词 你会看到几个全球范围内 祸害人命的流感高峰

如果这不足以令人信服 海平面正在上升 大气中二氧化碳含量和全球气温都在升高

你们也可以看看这个n字格 告诉尼采上帝没死 你可能也认为他或许要换一个企宣了

（众人笑）

你可以通过这个得到非常抽象的概念 我跟你们说说 1950年的历史 在漫漫历史长河中 几乎没人在意1950年 1700年 1800年 1900年 没有人在意 20世纪三十年代和四十年代 没有人在意 到了四十年代中期 突然间 关注度飞升 人们意识到1950年快来了 这一年可能非同小可啊 （众人笑） 1950年 正如人们想象的一样 没发生任何有意思的事情 （众人笑） 人们都着了魔了 无时无刻不在谈论 他们1950年做过的事情 他们打算在1950年做的事情 后者他们1950年想要实现的梦想 事实上 1950年是不同凡响的一年 即使过了好多年 人们还是不停地谈论那年发生的所有美好事情 51年 52年 53年 终于到了1954年 人们醒悟过来 1950年已成往事了 （众人笑） 就这样 泡泡破了

（众人笑）

1950年的情况 以及每一年的情况 我们都记录了下来 多亏了这些漂亮的图表 我们的工作顺利多了 有了这些漂亮的图表 我们就能测量各种事物 我们会说：“泡泡破掉的速度有多快？” 结果证明 我们可以对此进行精准的测量 等式出来了 图表也做好了 最终结果是 泡泡破掉的速度 每年都在加快 我们对过去的遗忘不断加快

好 现在给大家一些发展事业的建议 如果你想成名 我们可以向25位最著名的政治人物 作家 演员学习 如果你想早点成名 你就应该做个演员 因为 演员在20来岁的时候成名 你还很年轻 这是本钱 如果你能等一等 那就当个作家 因为你可以像马克.吐温这样 成为文坛巨星 如果你想到达万人之上 你就不能安于现状 要成为一个政治家 到了快60岁的时候 你就成名了 而且之后名声远扬 科学家通常在年纪一大把的时候才成名 生物学家和物理学家的名声 通常能跟演员的名声媲美 有一个错误你不要犯 那就是成为一个数学家 （众人笑） 如果你成了数学家 你会想：“太好啦，我20多岁的时候会有最辉煌的成就。” 谁知道 人们连睬都不睬你

（众人笑）

n字格中 有些情况更为明了 这是Marc Chagall的名声起落 他是出生于1887的一位艺术家 他的名声起落看似乎没有什么异常 他的名声越来越大 然而如果你在德语书中搜索 情况就不同了 在德语书中 你会看到非常奇怪的现象 闻所未闻 见所未见 他先是名极一时 但突然之间 名声直线下落 在1933年到1945年间达到了低谷 后来才回升 当然 实际情况是 Marc Chagall是一个犹太艺术家 当时身在纳粹德国

这些信号 实在太强了 我们无需知道谁被禁了 我们事实上可以 通过非常基本的信号处理来找出答案 这里有一个简单的方法 一个人在特定时期内 所拥有的知名度 应当大致为他成名前与成名后知名度的平均值 这么想是有道理的 我们也是怎么想的 我们把观察到的知名度进行对比 我们把前者比上后者 产生的结果叫做抑制指数 如果抑制指数非常非常小 那么你的知名度正在被抑制 如果数值非常大 或许就表明你从宣传中获益

你还可以看到 压抑指数在总人数中的分布情况 这里有个例子 这是从没有明显抑制的英文书籍中 选出的5000个人 它是这个样子的 基本上以1为中心 实际情况与预想差不多 而这在是德文书籍中的分布情况 与前者大为不同 往左偏了 人们对它的关注较预期要少了两倍 更重要的是 这个分布的跨度更宽 不少人处于左边的部分 人数比预期中少了10倍 而也有不少人处于更靠右的部分 他们的宣传起了作用 这幅图反映了书籍记录中的审查情况

我们把这种方法 称作文化组学 有点像基因组学 只不过 基因组学是生物学上 观察人类基因组序列的透镜 文化组学很类似 它指的是对人类文明研究的 大规模数据收集分析的应用 它使用的不是基因组这个透镜 而是用数字化的历史记录片段作为透镜 文化组学的优点是 人人都会用它 为什么呢 这是因为这三个人 谷歌的乔恩.奥温特 迈特.格雷和威尔.布洛克曼 看到了n字格后 说：“这太有意思了， 我们得让所有人都用上它。” 于是在我们的论文发表之前的整整两个星期中 他们编了一个面向公众的Ngram Viewer版本 现在你们也可以输入任何你感兴趣的单词或词组 查看它的n字格 并阅览所有书籍中 出现n字格的例句

这个词在第一天就被使用了超过一百万次 这真的是最棒的一个搜索词 人们总想做到最好 总想展示最好的一面 但是在18世纪 人们对此并不在乎 他们不想做到最好（“best”）而是“beft” 实际上 这是个错别字 这并不是因为人们不识字 而是因为当时英文字母S的写法跟现在不同 看起来像F 当然 谷歌没有意识到这一点 于是我们对此在论文中做了报告 这实际上只是一个小提示 尽管这很有趣 但是你在解读这些图表时 仍须非常谨慎 你必须遵循基本的科学准则

人们使用它来寻求各种乐趣 （众人笑） 我们不打算多说 光给你们看这些幻灯片 这个用户对人们烦躁的历史很感兴趣 这里有不同类型的烦躁 如果你的脚趾被碰了 你会说“啊” （“argh”） 如果地球被外星人毁灭了 开了一条星际航道 那就是“啊啊啊啊啊啊啊啊” （"aaaaaaaargh"） 这个人研究了不同长短的“啊” （“argh”） 从1个啊到8个啊 结果 那些使用频率较低的啊 代表程度更高的烦躁 八十年代是个例外 我们猜这可能跟里根总统有关

（众人笑）

这个数据库的用处很多 但最重要的是这是一个数字化的历史记录 谷歌已经开始对1500万本书进行数字化处理 其中12%的书已被出版 这是人类文明相当大的一部分 而文明还包括更多的内容 有手稿 报纸 非文字的内容 例如艺术与绘画 这些内容都会出现在我们的电脑上 在世界各地的电脑上 如果这成真了 我们对过去现在以及人类文明的认识就被改变了

非常感谢大家

（众人鼓掌）