Šta smo naučili iz 5 miliona knjiga

Erez Liberman Ejdan: Svi znaju da slika vredi hiljadu reči. Ali mi na Harvadu smo se pitali da li je ovo stvarno tačno. (Smeh) Okupili smo tim stručnjaka, iz Harvarda, MIT-a, Rečnika američkog nasleđa, Enciklopedije Britanika čak i naše ponosne sponzore, Google. Razmišljali smo o ovome oko četiri godine. I došli smo do zapanjujućeg zaključka. Dame i gospodo, slika ne vredi hiljadu reči. U stvari, našli smo neke slike koje vrede 500 milijardi reči.

Žan-Baptist Mišel: Kako smo došli do ovog zaključka? Erez i ja smo razmišljali o načinima na koje bismo mogli steći opštu sliku ljudske kulture i ljudske istorije: promene kroz vreme. Mnoštvo knjiga je napisano tokom godina. Mislili smo, najbolji način da iz njih naučimo je da pročitamo sve te milione knjiga. Kada bi postojala skala koja pokazuje koliko je to izuzetno, rangirala bi to vrlo, vrlo visoko. Problem je u tome što postoji X-osa za to, koja je osa praktičnosti. Ovo je veoma, veoma nisko.

(Aplauz)

Ljudi uglavnom nastoje da koriste alternativni pristup, koriste nekoliko izvora i pažljivo ih pročitaju. Ovo je izuzetno praktično, ali ne tako izvanredno. Ono što zaista želite da uradite je da dođete do onog izuzetnog, ali i praktičnog dela ovog prostora. Ispostavilo se da tamo, preko reke, postoji kompanija po imenu Google, koja je pre nekoliko godina započela projekat digitalizacije, koji bi mogao omogućiti ovakav pristup. Oni su digitalizovali nekoliko miliona knjiga. A to znači da se računske metode mogu koristiti za čitanje svih knjiga samo jednim klikom na dugme. Što je vrlo praktično i totalno fantastično.

ELE: Pričaću vam malo o tome odakle knjige dolaze. Još od pamtiveka, postoje pisci. Oni se trude da pišu knjige. To je postalo znatno lakše sa razvojem štamparske tehnike pre nekoliko vekova. Od tada, pisci su pobedili u 129 miliona različitih prilika i objavili su knjige. Ako te knjige nisu zaboravljene, onda se nalaze negde u biblioteci i mnoge od ovih knjiga Google uzima iz biblioteka, digitalizuje ih i do danas je skenirano 15 miliona knjiga.

Kad Google digitalizuje knjigu, stavlja je u jedan zgodan format. Imamo podatke i meta-podatke. Imamo informacije o stvarima kao što su mesto izdavanja, ime autora, vreme izdavanja. Mi prolazimo kroz sve ove zapise i izbacujemo sve ono što nije visokokvalitetan podatak. Ono što nam ostaje jeste kolekcija od 5 miliona knjiga, 500 milijardi reči, niz slova hiljadu puta duži od ljudskog genoma -- tekst koji bi se, kada bi bio ispisan, prostirao odavde do Meseca i nazad puta 10 -- zaista tek delić našeg kulturnog genoma. Naravno, ono što smo uradili kada smo se suočili sa tako preteranom hiperbolom... (Smeh) je ono što bi svi istraživači koji drže do sebe uradili. Uzeli smo stranicu iz XKCD-a i rekli: "Odmaknite se. Sad ćemo da isprobamo nauku."

(Smeh)

ŽM: Naravno, mislili smo, hajde prvo samo da objavimo podatke da bi ih ljudi naučno proučili. Razmišljali smo, kakve podatke možemo da objavimo? Pa svakako, želite da uzmete knjige i objavite čitave tekstove ovih 5 miliona knjiga. Google, tačnije Džon Orvant, rekao nam je za malu jednačinu koju treba da naučimo. Imate pet miliona knjiga, to je pet miliona autora, a pet miliona tužilaca čini masivnu parnicu. Iako bi to bilo jako, jako fantastično, opet, to je izuzetno nepraktično. (Smeh)

Opet smo popustilli i pristupili smo tome veoma praktično, što je bilo malo manje izuzetno. Rekli smo, umesto objavljivanja kompletnog teksta, objavićemo statistike o knjigama. Uzmite na primer "Zračak sreće." To su dve reči; zovemo ih bigram. Reći ćemo vam koliko puta se određeni bigram pojavljuje u knjigama iz 1801.,1802., 1803., sve do 2008. godine. To nam daje vremenske serije učestalosti korišćenja ove rečenice kroz vreme. To uradimo sa svim rečima i frazama koje se pojavljuju u tim knjigama i to nam daje veliku tabelu od dve milijarde redova koji nam prikazuju način na koji se kultura menja.

ELE: Te dve milijarde redova, zovemo dve milijarde n-grama. Šta nam oni govore? Pojedinačni n-grami mere trendove u kulturi. Daću vam primer. Pretpostavimo da ja uspevam, te sutradan želim da vam kažem kako sam uspeo. Mogu da kažem: "Juče, ja sam uspeo." Ili mogu da kažem: "Juče, ja uspeh." Koje od ova dva bi trebalo da upotrebim? Kako da znam?

Pre nekih šest meseci, stanje u ovom području je takvo da biste, na primer, otišli kod psihologa sjajne frizure i rekli biste: "Stiv, Vi ste stručnjak za glagole. Šta da radim?" A on bi vam rekao: "Većina ljudi kaže 'uspeo sam', ali neki kažu 'ja uspeh'." Takođe biste znali, manje-više, da ako biste se vratili 200 godina unazad i pitali državnika jednako sjajne frizure: (Smeh) "Tom, kako treba da kažem?" On bi rekao: "Pa, u moje vreme, mnogi uspeše, ali neki su uspeli." Ono što ću sada da vam pokažem su neobrađeni podaci. Dva reda ove tabele od dve milijarde unosa. Možete videti učestalost godinu za godinom za reči "uspeo" i "uspeh". Ovo su samo dva od dve milijarde redova. Dakle, kompletan set podataka milijardu puta je izuzetniji od ovog slajda.

(Smeh)

(Aplauz)

ŽM: Postoje mnoge druge slike koje vrede 500 milijardi reči. Na primer, ova. Ako samo uzmete u obzir grip, videćete maksimume u razdobljima za koje znate da su velike epidemije ubijale ljude širom planete.

ELE: Ako pak i dalje niste ubeđeni, nivoi mora rastu, kao i nivo CO2 u atmosferi i globalna temperatura.

ŽM: Možda takođe želite da pogledate konkretno ovaj n-gram, koji pokazuje Ničeu da bog nije mrtav, iako se možda slažete sa tim da mu treba bolji izdavač.

(Smeh)

ELE: Na ovaj način možete doći do nekih prilično apstraktnih koncepata. Na primer, ispričaću vam priču o 1950. godini. Veliki deo istorije, nikog nije bilo briga za 1950. Tokom 1700. godine, 1800., 1900., niko nije mario. tokom '30-ih i '40-ih, niko nije mario. Iznenada, sredinom '40-ih, počelo je da se šuška. Ljudi su shvatili da će se 1950. dogoditi. i da bi mogla biti važna. (Smeh) Ali ništa nije zainteresovalo ljude za 1950. kao sama 1950. godina. (Smeh) Ljudi su hodali naokolo opsednuti. Nisu mogli da prestanu da pričaju o stvarima koje su radili 1950. o svim stvarima koje su planirali da urade 1950. o svim snovima koje su želeli da ostvare te 1950. U stvari, 1950. je bila tako fascinantna da su, godinama nakon što je prošla, ljudi nastavljali da pričaju o neverovatnim stvarima koje su se dogodile u '51., '52., '53. Konačno 1954. godine, neko se probudio i shvatio da je 1950. postala nekako passé. (Smeh) I tek tako, mehurić je pukao.

(Smeh)

A priča o 1950. je priča o svakoj godini koju imamo zabeleženu, sa malim preokretom, jer sad imamo ove lepe grafikone. A zbog toga što imamo ove lepe grafikone, možemo da merimo stvari. Možemo pitati: "Koliko se brzo mehurić rasprsne?" Ispostavlja se da to možemo izmeriti vrlo precizno. Jednačine su izvedene, grafikoni su napravljeni i krajnji rezultat je da smo izračunali da mehurić puca sve brže i brže svake godine. Gubimo interesovanje za prošlost sve brže.

ŽM: Sad mali savet vezan za izbor karijere. Za sve vas koji želite da budete slavni, saznali smo od 25 najpoznatijih političkih figura, pisaca, glumaca i tako dalje. Dakle, ako želite rano da postanete slavni, treba da se bavite glumom, jer u tom slučaju, slava počinje da raste do kraja vaših 20-ih -- a još uvek ste mladi, to je stvarno sjajno. A ako možete da čekate malo, onda treba da budete pisac, jer onda slava doseže velike visine, kao Mark Tven, na primer, bio je izuzetno slavan. Ali ako želite da dosegnete sam vrh, trebalo bi da odgodite zadovoljstvo i da, naravno, postanete političar. Na taj način ćete postati poznati do kraja svojih 50-ih i ostati vrlo, vrlo poznati nakon toga. Naučnici takođe obično postanu poznati tek kada ostare. Kao, na primer, biolozi i fizičari koji mogu biti poznati skoro koliko i glumci. Jedina greška koju ne smete da napravite je da postanete matematičar. (Smeh) Ako to uradite, možete pomisliti: "Oh, sjajno. U svojim 20-im ću napraviti svoj najbolji rad." Ali pogodite, nikoga neće biti briga.

(Smeh)

ELE: Postoje i neke ozbiljnije činjenice među n-gramima. Na primer, ovo je putanja Marka Šagala, umetnika rođenog 1887. I ona izgleda kao obična putanja slavne osobe. Postaje sve poznatiji, osim ako pogledate na nemačkom. Ako pogledate na nemačkom, možete videti nešto stvarno bizarno, nešto što se baš i ne viđa, a to je da on postaje izuzetno slavan, a onda iznenada, njegova popularnost naglo opada, prolazi kroz najnižu tačku između 1933. i 1945. godine i nakon toga ponovo naglo raste. Naravno, uviđamo činjenicu da je Mark Šagal bio jevrejski umetnik u nacističkoj Nemačkoj.

Ovi znaci su toliko jaki da ne moramo da znamo da li je neko bio cenzurisan. To u stvari možemo zaključiti koristeći osnovnu obradu znakova. Ovo je jednostavan način da se to uradi. Opravdano očekivanje je da nečija slava u određenom periodu, treba da, otprilike, bude prosek njegove slave pre i posle tog perioda. Dakle, to je ono što očekujemo. Uporedimo to sa slavom koju opažamo. I onda samo podelimo jednu sa drugom da bismo dobili nešto što se zove indeks zabrane. Ako je indeks zabrane jako, jako mali, onda najverovatnije bivate zabranjeni. Ako je indeks velik, možda vam propaganda ide u korist.

ŽM: Sada možete pogledati raspodelu indeksa zabrane po čitavim populacijama. Tako, na primer, ovde -- ovo je indeks zabrane za 5 000 ljudi odabranih u engleskim knjigama gde nije poznata zabrana -- bilo bi to ovako, u suštini, usko centrisano na jednu tačku. Ono što očekujete je, praktično, ono što zapažate. Ovako je raspodela viđena u Nemačkoj -- dosta drugačije, pomerena je ulevo. Ljudi su o njoj pričali dvaput manje nego što je trebalo. Ali što je još važnije, raspodela je mnogo šira. Ima dosta ljudi koji su završili na samom kraju s leve strane ove raspodele o kojima se pričalo 10 puta manje nego što je trebalo. Ali ima i dosta ljudi na krajnjoj desnoj strani koji su, čini se, imali veliku korist od propagande. Ova slika je glavni znak cenzure u knjigama.

ELE: Ovu metodu zovemo kulturomika. Podseća na genomiku. Samo što je genomika deo biologije koji izučava nizove podataka u ljudskom genomu. Kulturomika je slična. To je primena kolekcije podataka masovnih razmera za izučavanje ljudske kulture. Ovde se, umesto kroz prizmu jednog genoma, to radi kroz prizmu digitalizovanih delova istorijskog zapisa. Odlična stvar kod kulturomike jeste to da svi mogu njome da se bave. Zašto mogu svi? Zato što su tri lika, Džon Orvant, Met Grej i Vil Brokmen iz Goole-a, videli prototip Ngram pretraživača, i rekli: "Ovo je tako zabavno. Moramo ovo da učinimo dostupnim za sve ljude." I nakon dve nedelje -- dve nedelje pre nego što je naša studija izašla -- programirali su verziju Ngram pretraživača za javnost. Tako da i vi možete ukucati bilo koju reč ili frazu koja vas interesuje i odmah videti njen n-gram -- takođe možete pretraživati različite knjige u kojima se vaš n-gram pojavljuje.

ŽM: Ovo je prvog dana bilo korišćeno preko milion puta, a ovo je zaista najbolje o svih pitanja. Ljudi hoće da daju sve od sebe, da urade sve što je bolje moguće. Ali ispostavilo se da u 18. veku, ljudi uopšte nisu marili za to. Nisu želeli da budu najbolji (best), želeli su da budu osrednji (beft). Ono što se desilo je, naravno, samo greška. Nije težnja ka prosečnosti, već je samo S bilo pisano drugačije, slično kao F. (beSt - beFt) Naravno, Google to nije prepoznao na vreme, pa smo ovo objavili u naučnom članku koji smo napisali. Ali ispostavlja se da je ovo samo podsetnik da, iako je jako zabavno, kada interpretirate ove grafikone, morate biti veoma oprezni, i morate usvojiti osnovne naučne standarde.

ELE: Ljudi koriste ovaj program u razne zabavne svrhe. (Smeh) U stvari, nećemo morati da pričamo, samo ćemo da vam pokažemo sve slajdove i da ćutimo. Ova osoba je bila zainteresovana za istoriju frustracije. Postoje razni tipovi frustracije. Ako udarite nožni prst, onda je to jedno A "ah." Ako su planetu Zemlju razorili Vogoni da bi napravili mesta za međuzvezdanu zaobilaznicu, onda imamo 8 A "aaaaaaaah." Ova osoba izučava sve "ah-ove", od jednog do 8 A. I ispostavlja se da su ređi "ah-ovi" naravno, oni koji odgovaraju stvarima koje izazivaju veću frustraciju -- osim, što je čudno, u ranim '80-im. Mi mislimo da to ima veze sa Reganom.

(Smeh)

ŽM: Ovi podaci se mogu koristiti u razne svrhe, ali poenta je da se istorijski zapis digitalizuje. Google je počeo da digitalizuje 15 miliona knjiga. To je 12 procenata svih knjiga koje su ikada objavljene. Što je povelik deo ljudske kulture. Ali postoji još mnogo više: postoje rukopisi, novine, stvari koje su bez teksta, kao što su umetnička dela, slike. Sve te stvari će se naći na našim računarima, na računarima širom sveta. A kada se to desi, promeniće se način na koji shvatamo našu prošlost, sadašnjost i našu kulturu.

Hvala vam mnogo.

(Aplauz)