Ինչ ենք մենք սովորում 5 միլիոն գրքերից

Էրեզ Լիբերման Էյդն.«Բոլորը գիտեն, որ մի նկարը հազարավոր բառեր արժե: Բայց մենք Հարվարդում կասկածում էինք, արդյոք դա ճիշտ է: (Ծիծաղ) Այդ իսկ պատճառով մենք հավաքեցինք մի խումբ փորձագետների` Հարվարդի համալսարանից և Մասաչուսեթսի տեխնոլոգիական ինստիտուտից, Ամերիկյան Ժառանգություն Բառարանի և Բրիտանիկա հանրագիտարանի անձնակազմից և նույնիսկ մեր հպարտ հովանավորներից` Google-ին: Մենք այս մասին մտածել ենք ավելի քան 4 տարի: Եվ հանգեցինք ապշեցուցիչ մի եզրակացության: Տիկնայք և պարոնայք, մի նկարը հազարավոր բառ չարժե: Իրականում, մենք գտանք որոշ նկարներ, որոնք 500 միլիարդ բառ արժեն:

Ժան-Բապտիստա Միշել: Ինչպե՞ս մենք եկանք այս եզրակացության: Էրեզը և ես մտածում էինք այն ուղիների մասին, թե ինչպես կարող ենք գտնել մի ընդհանուր պատկեր մարդկության մշակույթի և պատմության մասին` փոփխված ժամանակի ընթացքում: Տարիներ շարունակ շատ գրքեր են գրվել: Եվ մենք կարծում էինք, որ դրանց ուսումնասիրելու ամենալավ եղանակը այդ միլիոնավոր գրքերը կարդալն է: Իհարկե, եթե լիներ այդ հրաշքը գնահատելու սանդղակ, այն չափազանց արագ, չափազանց բարձր աճ կունենար: Այժմ խնդիրն այն է, որ դրա համար ունենք X-երի առանցքը, որը պրակտիկայի առանցք է: Սա շատ, շատ ցածր է:

(Ծափահարություններ)

Այսօր մարդիկ հակված են օգտագործել այլընտրանքային մոտեցում, այն է, վերցնել մի քանի աղբյուրներ և շատ ուշադիր կարդալ դրանք: Սա չափազանց գործնական է, բայց ոչ այդքան ապշեցուցիչ: Այն, ինչ իրականում ցանկանում եք` հասնել այս գործընթացի ոչ միայն գործնական, այլ նաև ապշեցուցիչ մասին: Փաստորեն, պարզ է դառնում, որ գետի մյուս ափին Google անունով մի ընկերություն կա, որ դեռ մի քանի տարի առաջ էր սկսել թվայնացման ծրագիրը, որը պարզապես հնարավորություն է տալիս անել դա: Նրանք թվայնացրեցին միլիոնավոր գրքեր: Սա նշանակում է, որ կարելի էր օգտագործել հաշվարկման մեթոդներ` բոլոր գրքերը կարդալու համար` կոճակի մի սեղմումով: Սա իրոք շատ պրակտիկ է և չափազանց ապշեցուցիչ:

Էրեզ: Թույլ տվեք ձեզ մի փոքր պատմեմ գրքերի ստեղծման մասին: Անհիշելի ժամանակներից կային գրողներ: Այս գրողները ձգտում էին գրքեր գրել: Սա Էապես ավելի հեշտացավ մի քանի դար առաջ տպագրահաստոցի առաջացումից հետո: Դրանից հետո գրողները հաղթեցին. 129 միլիոն գրքերի հրատարակման դեպք գրանցվեց: Եվ եթե այդ գրքերը պատմության մեջ չեն կորել, ուրեմն դրանք գրադարաններում ինչ-որ տեղ են պահվում, այս գրքերից շատերը գրադարաններից ետ վերցվեցին և թվայնացվեցին Google-ի կողմից, որն այսօրվա դրությամբ 15 միլիոն գիրք է սկանավորել:

Երբ Google-ը թվայնացնում է գրքերը, դրանք իսկապես լավ ձևաչափով են դասակարգվում: Հիմա մենք ունենք տվյալների բազա, դրան գումարած նաև մեթատվյալների բազա: Մենք գիտենք, թե որտեղ են գրքերը հրատարակվել, ով է հեղինակը, երբ է այն հրատարակվել: Եվ մենք ուսումնասիրեցինք այդ բոլոր գրառումները` բացառելով բոլոր ոչ բարձրորակ տվյալները: Այն ինչ մեզ մնաց հինգ միլիոն գրքերի հավաքածուն է, 500 մլրդ բառ, հազար անգամ ավելի շատ տարրերով, քան մարդու գեներում են, եթե գրի առնենք այս տեքստը, ապա այն կունենա դեպի լուսին և ետ ճանապարհի երկարությունը բազմապատկած 10 անգամ, մշակութային գենի իրական մասնիկ: Իհարկե այն, ինչ մենք արեցինք, երբ դեմ առ դեմ կանգնեցին հիպերբոլայի առջև ... (Ծիծաղ) այն էր, ինչ կաներ յուրաքանչյուր իրեն հարգող գիտնական: Մենք վերցրեցինք XKCD-ից մի էջ և ասացինք. «Ետ քաշվեք: Մենք պատրաստվում ենք գիտությամբ զբաղվել»:

(Ծիծաղ)

ԺՄ: Իհարկե մենք մտածում էինք, որ առաջնային նպատակը տվյալները հասանելի դարձնել այն մարդկանց համար, ով գիտությամբ է զբաղվում: Հիմա մենք մտածում ենք, թե ո՞ր տվյալները կարող ենք թողարկել: Իհարկե, ցանկություն է առաջանում վերցնել և միանգամից թողարկել այդ 5 միլիոն գրքերի ամբողջական տեքստերը: Google-ը, մասնավորապես Ջոն Օրվանթը, մեզ մի փոքրիկ հավասարում սովորեցրեց: Այսպիով, դուք ունեք 5 միլիոն, այսինքն` 5 միլիոն գրող, իսկ հինգ միլիոն հայցվորները հավասար են զանգվածային դատական գործի: Այսպես, թեև դա իրոք չափազանց ապշեցուցիչ է, մեկ է, այն չափազանց, ծայրահեղ ոչ պրակտիկ է: (Ծիծաղ)

Կարծես մենք զիջում ենք, և գործին շատ գործնական մոտեցում ցուցաբերեցինք, չնայած մի փոքր պակաս ապշեցուցիչ կերպով: Մենք ասացինք, որ ամբողջական տեքստը հրապարակելու փոխարեն, մենք կհրապարակենք գրքերի մասին վիճակագրությունը: Վերցնենք օրինակ, «A gleam of happiness»-ը: այս բառերը մենք անվանում ենք 4-գրամ Մենք պատրաստվում ենք ձեզ ցույց տալ, թե քանի անգամ է այս 4-գրամը հայտնվել 1801, 1802, 1803 թթ. գրքերում, և այսպես մինչև 2008 թ.: Սա մեզ կտա ժամանակային շարքերի հաճախականությունը, թե տվյալ նախադասությունը քանի անգամ է կրկնվել ժամանակի ընթացքում: Մենք դա արեցին այն բոլոր բառերի և բառակապակցությունների հետ, որ կային այդ գրքերում և դա մեզ տվեց 2 միլիարդ տողանի մի մեծ աղյուսակ, որոնք մեզ հուշում են, թե ինչպիսի փոփոխությունների է ենթարկվել մշակույթը:

ԷԼԷ: Այսպես, այդ 2 միլիարդ տողերին մենք անվանում ենք n-գրամ: Ի՞նչ են դրանք մեզ ասում: Առանձին n-գրամերը չափում են մշակութային տենդենցները: Թույլ տվեք բերեմ հետևյալ օրինակը: Ենթադրենք, ես հարստացել եմ, իսկ վաղը ուզում եմ ձեզ ասել իմ կարգավիճակի մասին: Այսպիսով, ես պետք է ասեմ. «Երեկ ես բարգավաճեցի (throve)»: Այլ կերպ ես կարող եմ ասել. «Երեկ ես բարգավաճեցի (thrived)»: Դե, ո՞ր մեկը պետք է օգտագործեմ: Ինչպե՞ս պարզել դա:

Ավելի քան վեց ամիս առաջ այս ոլորտում արվեստի կարգավիճակը այնպիսին էր, որ կարելի էր, օրինակ, մոտենալ այս գեղեցիկ վարսահարդարմամբ հոգեբանին, և հարցնել. «Սթիվ, դուք անկանոն բայերի մասնագետ եք: Ի՞նչ անեմ»: Եվ նա ձեզ կասի. «Դե, շատերը ասում են բարգավաճեցի (thrived), բայց ոմանք էլ ասում են բարգավաճեցի (throve)»: Բայց դուք նաև քիչ թե շատ գիտեք, որ եթե 200 տարով հետ գնայիք ժամանակի մեջ և հարցնեիք այս քաղաքական գործիչին` նույնպես գեղեցիկ վարսահարդարմամբ. (Ծիծաղ) «Թոմ, ի՞նչ պետք է ասեմ»: Նա կպատասխաներ. «Այժմ, մարդկանց մեծ մասը օգտագործում է բարգավաճեցի (throve), իսկ ոմանք էլ բարգավաճեցի (thrived)»: Այնպես որ, այն ինչ հիմա պատրաստվում եմ ձեզ ցույց տալ պարզապես չմշակված տվյալներ են: Այս երկու միլիարդ գրառումներով աղյուսակից 2 տող: Այն, ինչ դուք տեսնում եք «thrived» և «throve»-ի ժամանակի րնթացքում կատարված տարեկան պարբերականն է: Իսկ սա ընդամենը երկու բառ է երկու միլիարդ բառերի շարքից: Այնպես որ, ամբողջ տվյալների համախումբը միլիարդ անգամ ավելի ապշեցուցիչ է, քան այս սլայդը:

(Ծիծաղ)

(Ծափահարություններ)

ԺՄ: Կան նաև շատ այլ նկարներ, որ 500 միլիարդ բառ արժեն: Օրինակ, այս մեկը: Եթե դուք հարբուխով հիվանդանաք, կարող եք տեսնել գագաթնակետային վիճակները այն ժամանակ, երբ դուք գիտեիք, որ մեծ գրիպի համաճարակի ընթացքում ամբողջ աշխարհում մարդիկ մահանում էին:

ԷԼԷ. Դուք դեռ չեք համոզվել, որ ծովի մակարդակը բարձրանում է, այսպես, ինչպես մթնոլորտայն ածխաթթու գազն ու գլոբալ ջերմաստիճանը

ԺՄ: Դուք նաև կարող եք տեսնել այս որոշակի n-գրամը, իսկ Նիցշեն ասել է, որ Աստված մահացած չէ, չնայած կարելի է համաձայնվել, որ նա լավագույն հրապարակախոսի կարիքն ունի:

(Ծիծաղ)

ԷԼԷ: Այս գործիքի օգնությամբ դուք կարող եք ձեռք բերել բավականին աբստրակտ հասկացություններ: Օրինակ, թույլ տվեք ձեզ պատմեմ մի պատմություն, որ տեղի է ունեցել 1950 թ-ին: Պատմության գերակշիռ մասում, 1950 թ-ը ոչ ոքի չի հետաքրքրել: 1700-ին 1800-ին 1800-ին ոչ ոքի դա պետք չէր: Երեսունականներին և քառասունականներին նույնպես ոչ ոք չէր մտածում դրա մասին: Հանկարծակի քառասունականների կեսերին ինչ-որ հետաքրքրություն առաջ եկավ: Մարդիկ հասկացան, որ 1950 թ. մոտենում է, և դա կարող է ահռելի իրադարձություն լինել: (Ծիծաղ) Սակայն ոչինչ չստիպեց մարդկանց հետաքրքրվել 1950 թ-ով այնքան, որքան հենց ինքը` 1950-ը: (Ծիծաղ) Մարդիկ խենթացել էին: Նրանք անկարող էին լռել այն ամենի մասին, ինչ արել էին 1950 թ-ին, այն բոլոր բաների մասին, ինչ նրանք պլանավորում էին անել 1950 թ-ին, այն բոլոր երազանքների մասին, ինչ նրանք ցանկանում էին իրականացնել 1950 թ-ին: Արդյունքում, 1950-ը այնքան հրաշալի էր, որ տարիներ անց, մարդիկ շարունակում էին խոսել բոլոր զարմանալի բաների մասին, որ տեղի էր ունեցել, '51-ին, '52-ին, '53-ին: Վերջապես 1954 թ-ին ինչ-որ մեկը մի օր արթնացավ և հասկացավ, որ 1950թ. արդեն հնացել է: (Ծիծաղ) Հենց այնպես, ինչպես փուչիկն է պայթում:

(Ծիծաղ)

Իսկ 1950-ի պատմությունը կրկնվում է յուրաքանչյուր տարվա համար, որի մասին մենք ունենք տեղեկություններ, որոշակի շեղումով, քանի որ հիմա մենք ունենք այս գեղեցիկ գծապատկերները: Շնորհիվ այս հրաշալի գծապատկերների, մենք կարող ենք չափել շատ բաներ: Կարող ենք ասել. «Դե, ին՞չ արագությամբ կարող է փուչիկը պայթել»: Պարզվում է, որ մենք կարող ենք դա ճշտորեն չափել: Հավասարումները դուրս էին գրվել, գրաֆիկները գծագրվել էին, և արդյունքն այն է, որ փուչիկները պայթում են ավելի ու ավելի արագ յուրաքանչյուր հաջորդ տարում: Մենք շատ արագ ենք կորցնում մեր հատաքրքրությունն անցյալի նկատմամբ:

ԺՄ: Իսկ հիմա մի փոքր խորհուրդ կարիերայի վերաբերյալ: Ձեզանից յուրաքանչյուրի համար, ով ձգտում է հայտնի դառնալ, կարող է սովորել 25ից ավելի հայտնի քաղաքական գործիչներից, գրողներից, դերասաններից և այլն: Եթե դուք ցանկանում եք վաղ տարիքում հայտնի դառնալ, դուք կարող եք դերասան դառնալ, քանի որ այդ համբավը սկսում է մեծանալ, երբ դուք դեռ 20 տարեկան եք. դուք դեռ երիտասարդ եք և դա հրաշալի է: Եթե կարող եք մի փոքր սպասել, դուք կարող եք գրող դառնալ, քանի որ այդ ժամանակ դուք կհասնեք մեծ բարձունքների, ինչպես, օրինակ Մարկ Տվենը, չափազանց հայտնի է: Բայց եթե դուք ուզում եք հասնել փառքի գագաթնակետին, դուք պետք է հրաժարվեք հաճույքերից և, իհարկե, դառնաք քաղաքագետ: Այս դեպքում դուք հայտնի կլինեք, երբ 50 տարեկան դառնաք, և շատ, չափազանց հայտնի կլինեք: Գիտնականները նույնպես հայտնի են դառնում, երբ արդեն շատ ծեր են: Օրինակ, կենսաբաններն ու ֆիզիկոսները այնքան հայտնի են, որքան դերասանները: Սխալը, որ պետք չէ թույլ տալ` մաթեմատիկոս դառնալն է: (Ծիծաղ) Այս դեպքում կարելի է ենթադրել. «Հինալի է, ես իմ ամենալավ աշխատանքը հայտնագործել եմ, երբ ընդամենը 20 տարեկան էի»: Բայց գիտեք ինչ, ոչ ոքի դա պետք չէ:

(Ծիծաղ)

ԷԼԷ: n-գրամերը շատ ավելի սթափեցնող հատկություններ ունեն: Օրինակ` ահա Մարկ Շագալի հետագիծը, նկարիչ, որ ծնվել է 1887-ին: Նա ունի հայտնի մարդու սովորական ուղի: Նա ավելի և ավելի հայտնի է դառնում, բացառությամբ գերմանախոսների շրջանում, Եթե գերմաներեն լեզվին նայենք, ապա կտեսնենք մի անհնարին բան, մի բան, որ հազվադեպ եք տեսնում, նա դառնում է չափազանց հայտնի, այնուհետև, միանգամից նվազում է անցնելով 1933-ի և 1945-ի մրջև գտնվող ծայրահեղ անկման շրջանով, շատ ավելի հետ ընկրկելու համար: Իհարկե, այստեղ մենք տեսնում ենք այն փաստը, որ Մարկ Շագալը հրեա նկարիչ էր Նացիստական Գերմանիայում:

Այս ազդանշանները իրականում այնքան ուժեղ են, որ մեզ պետք չէ իմանալ, որ ինչ-որ մեկը գրաքննվել է: Մենք կարող ենք դա հասկանալ` օգտագործելով ազդանշանների ամենապարզ վերլուծությունը: Ահա դա անելու ամենապարզ եղանակը: Խելամիտ է ենթադրել այն, որ ինչ-ոչ մեկի փառքը տվյալ ժամանակահատվածում պետք է հավասար լինի մինչև նրան և նրանից հետո եղած փառքերի միջինին: Այսինքն, սա հենց այն էր, ինչ մենք սպասում էինք: Եվ դա մենք կհամեմատենք այն բանի հետ, ինչ հետազոտում ենք: Այնուհետև դրանք հարաբերում ենք իրար, որպեսզի ստանանք այն, ինչ կոչում ենք ընկճման ինդեքս: Եթե ընկճման ինդեքսը շատ, շատ, շատ փոքր է, ապա հավանականություն կա, որ ձեզ ընկճում են: Եթե դա մեծ է, ապա ձեզ, հավանաբար, պրոպագանդում են:

ԺՄ: Իսկ այժմ կարող ենք նայել ամբողջ բնակչության նկատմամբ ընկճման ինդեքսների բաշխմանը: Օրինակ այստեղ, այս ընկճման ինդեքսը 5000 մարդու համար է` ընտրված անգլալեզու գրքերից, որտեղ ցենզուրան բացակայում է. դա մոտավորապես այսքան է, կետրոնացված մեկի վրա: Այն ինչ դուք սպասում եք, համընկնում է դիտարկումի հետ Այս բաշխումը կատարվել է Գերմանիայում` սա լրիվ տարբեր է, փոխանցված դեպի ձախ: Մարդիկ դրա մասին խոսել են 2 անգամ ավելի քիչ, քան պետք էր: Սակայն այն, ինչ անհրաժեշտ է, ավելի լայն բաշխումն է: Շատ մարդկանց մասին, ովքեր հայտնվում են այս բաշխման ձախ կողմում, խոսում են 10 անգամ ավելի քիչ, քան պետք է: Իսկ աջ կողմում գտնվող շատ մարդիկ քաղում են պրոպագանդայի պտուղները: Այս նկարը գրքի պատմության ցենզուրայի կնիքն է:

ԷԼԷ: մենք սա անվանում ենք կուլտուրոմիքսի մեթոդ: Սա գենոմիքսի պես բան է: Միայն թե գենոմիքսը կենսաբանության ոսպնյակն է հանդիսանում, մարդու գենի հիմքի հաջորդականության պատուհանից դուրս: Կուլտուրոմիքսը նման է սրան: Սա չափազանց մեծ մասշտաբի տվյալների հավաքականի վերլուծության օգտագործումն է` մարդկության մշակույթը ուսումնասիրելու համար: Սակայն, ի հակադրություն սրան, գենի ոսպնյակը մենք տենում ենք պատմության թվայնացված մասերի ոսպնյակի միջոցով: Կուլտուրոմիքսի դրական կողմն այն է, որ բոլորը կարող են օգտագործել դա: Իսկ ինչո՞ւ բոլորը կարող են դա անել: Բոլորը կարող են անել դա, քանի որ 3 հոգի` Ջոն Օրվանթը, Մետտ Գրեյը և Ուիլ Բրոքմանը Google-ից` տեսնելով Ngram Viewer-ը, ասացին. «Սա շատ զվարճալի բան է: Մենք պետք է սա բոլորի համար հասնելի դարձնենք»: Ուղիղ երկու շաբաթում, մեր հոդվածի հրատարակումից ընդամենը 2 շաբաթ առաջ, նրանք ծրագրավորեցին Ngram Viewer ամբողջ հասարակության համար: Հիմա դուք էլ կարող եք հավաքել ցանկացած բառ կամ նախադասություն, որ ձեզ հետաքրքրում է, և անմիջապես տեսնել դրա n-գրամը, ներառյալ դրանց օրինակները բազմաթիվ այլ գրքերից, որտեղ հանդիպում ենք n-գրամ:

ԺՄ: Հենց առաջին իսկ օրը դա միլիոն անգամ օգտագործվեց, և սա հարցումներից ամենալավն է: Մարդիկ ցանկանում են իրենց ամենալավ կողմը ցույց տալ: Սակայն պարզ է դառնում, որ 18-րդ դարում դա ընդհանրապես մարդկանց չի հետաքրքրել: Նրանք չեն ցանկանում իրենց ամենալավ (best) կողմը ցույց տալ, նրանք ցանկանում էին իրենց ամենալաֆ (beft) կողմը ցույց տալ: Իհարկե,այն ինչ պատահեց, ուղղակի սխալ էր: Դա միջակության ձգտում չէ, ուղղակի 'Վ' տառը գրվել է այլ կերպ, մի փոքր նման 'Ֆ' տառին: Իհարկե այն ժամանակ Google-ը ուշադրություն չդարձրեց դրան, այդ պատճառով մենք դա մեր հոդվածում օգտագործեցինք: Սակայն պարզ դարձավ, որ սա միայն հիշեցում է, որ չնայաց դա զվարճալի է, այս գրաֆիկները մեկնաբանելիս, պետք է շատ զգույշ լինել, և անհրաժեշտ է օգտագործել գիտության լավագույն ​​չափանիշները:

ԷԼԷ: Մարդիկ ինչ ձևով ասես, որ չեն օգտագործել դա: (Ծիծաղ) Իրականում, ոչինչ պետք չէ ասել, մենք ցույց կտանք սլայդերը անձայն: Այս մարդուն հետաքրքրել է բացականչությունների պատմությունը: Բացականչությունների տարբեր ձևեր կան: Եթե հարվածել եք ձեր ոտքի բութ մաինը, դա «Ախ» է մեկ Ա-ով: Եթե Երկիր մոլորակը ոչնչացվում է Վոգոնների կողմից, որպեսզի տեղ ազատվի միջտիեզերական շրջանցումների համար, ապա դա «Աաաաաաաախ» է ութ Ա-ով Այս մարդը ուսումնասիրել է բոլոր «Ախերը»` մեկից մինչև ութ Ա պարունակող: Եվ պարզվում է, որ ավելի հազվադեպ «Ախերը», իհարկե, առավել վախեցնող բաների հետ են կապված. բացառությամբ, ինչը շատ տարօրինակ է, 80-ականների սկզբի: Միգուցե, Ռեյգանը ինչ-որ կապ ունի սրա հետ:

(Ծիծաղ)

ԺՄ: Այս տվյալները կարելի է տարբեր կերպ օգտագործել, սակայն խնդրիը պատմական թվայնացման մեջ չէ: Google-ը սկսել է թվայնացնել 15 միլիոն գիրք: Դա երբևէ հրատարակված գրքերի 12 տոկոսն է կազմում: Դա մարդկույթան մշակույթի զգալի մասն է կազմում: Սակայն մշակույթը իր մեջ շատ ավելին է պարունակում. ձեռագրեր, թերթեր, ոչ տեքստային բաներ, ինչպիսին է, օրինակ, արվեստը և նկարչությունը: Այս ամենը կարող է հայտնվել մեր համակարգիչներում, աշխարհի բոլոր համակարգիչներում: Եվ երբ սա պատահի, այն կվերափոխի մեր անցյալը, ներկան և մարդկության ապագան ընկալելու մեր պատկերացումները:

Շատ շնորհակալություն:

(Ծափահարություններ)