Damon Horowitz etterlyser et "moralsk operativsystem"

Makt. Det er ordet jeg kommer å tenke på. Vi er de nye teknologene. Vi har mye data, så vi har mye makt. Hvor mye makt har vi? Scene fra en film: "Apocalypse Now" -- storartet film. Vi må sende vår helt, Kapt. Willard, til munningen av Nung-floden slik at han kan forfølge Oberst Kurtz. Måten vi skal gjøre det på er å fly ham inn og slippe ham ut. Så, scenen: himmelen er fylt med denne flåten av helikoptre som tar ham inn. Og det er den der høye, spennende musikken i bakgrunnen, vill musikk. ♫ Dum da ta da dum ♫ ♫ Dum da ta da dum ♫ ♫ Da ta da da ♫ Det er mye makt. Det er den typen makt jeg kjenner i dette rommet. Det er den typen makt vi har gjennom all den data som vi har.

La oss ta et eksempel. Hva vi kan gjøre med kun en persons data? Hva kan vi gjøre med den fyrens data? Jeg kan se på dine finanser. Jeg kan si om du betaler dine regninger i tide. Jeg vet om du er verdt å innvilge lån til. Jeg kan se på din medisinske journal, jeg kan se om pumpen din fortsatt pumper -- se om du er verdt å tilby forsikring til. Jeg kan se på ditt klikkemønster. Når du kommer inn på min webside, kan jeg faktisk vite hva du har tenkt å gjøre allerede, for jeg har sett deg besøke milliontalls websider tidligere. Og jeg beklager å si det, du er som en pokerspiller, du avslører deg. Jeg kan med dataanalyse si hva du kommer til å gjøre før du faktisk gjør det. Jeg vet hva du liker. Jeg vet hvem du er. Og det er til og med før jeg kikker på dine e-poster eller din telefon.

Det er slike ting vi kan gjøre med det datamateriell vi har. Men, jeg er egentlig ikke her for å prate om hva vi kan gjøre. Jeg er her for å prate om hva vi burde gjøre. Hva er det riktige å gjøre?

Nå ser jeg noen rådville uttrykk som, "Hvorfor spør du oss om hva som er det riktige å gjøre? Vi bygger jo bare tingene. Noen andre bruker dem. Sant nok. Men det bringer meg tilbake. Jeg tenker på andre verdenskrigen -- noen av våre fantastiske teknologer da, noen av våre fantastiske fysikere, som studerte kjernefysisk fisjon og fusjon -- bare kjernefysiske ting. Vi samler sammen disse fysikerne i Los Alamos for å se hva de kan bygge. Vi vil at menneskene som bygger teknologien skal tenke på hva vi burde gjøre med teknologien.

Så hva burde vi gjøre med den fyrens data? Burde vi samle det inn, registrere det, slik at vi kan gjøre hans opplevelse online bedre. Slik at vi kan tjene penger? Slik at vi kan beskytte oss selv hvis han var ute etter å gjøre ugagn. Eller, burde vi respektere hans privatliv, beskytte hans verdighet og la ham være i fred? Hvilken er det? Hvordan finner vi det ut?

Jeg vet: avstemning. La oss stemme på dette. Så, som oppvarming, la oss starte med et lett spørsmål -- noe jeg er sikker på at alle her har en mening om: iPhone versus Android. Strekk opp handa -- iPhone. Aha. Android. Man skulle tro, med en masse smarte mennesker, at vi ikke bare var svake for de fineste telefonene. (Latter) Neste spørsmål, littegrann vanskeligere. Burde vi samle inn alt av den fyrens data for å gjøre hans opplevelse bedre og for å beskytte oss selv hvis han er uærlig? Eller burde vi la ham være i fred? Samle inn data. La ham være i fred. Dere er sikker. Det går bra. (Latter) Ok, siste spørsmål -- vanskeligere spørsmål -- når man skal evaluere hva man burde gjøre i dette tilfellet, burde vi bruke et Kantiansk deontologisk moralsk rammeverk, eller burde vi bruke et Mill-konsekvensialistisk? Kant. Mill. Ikke like mange stemmer. (Latter) Ja, det er et skremmende resultat. Skremmende fordi vi har sterkere meninger om våre håndholdte enheter enn om vårt moralske rammeverk vi burde bruke for å veilede våre beslutninger.

Hvordan vet vi hva vi skal gjøre med all den makt vi har hvis vi ikke har et moralsk rammeverk? Vi vet mer om mobile operativsystem, men hva vi egentlig trenger er et moralsk operativsystem. Hva er et moralsk operativsystem? Vi kjenner alle riktig og galt, ikke sant. Det føles bra når du gjør noe riktig, det føles dårlig når du gjør noe galt. Våre foreldre lær oss: ros med det gode, ris med det gale. Men hvordan finner vi ut hva som er rett og galt? Og fra dag til dag, vi har teknikkene vi bruker. Kanskje vi bare følger magefølelsen. Kanskje vi stemmer -- vi tar en avstemning. Eller vi tar sjansen -- spør jussavdelingen, ser hva de sier. Med andre ord, det er ganske tilfeldig, ganske ad hoc, hvordan vi finner ut hva vi burde gjøre. Og kanskje, hvis vi vil være på sikrere grunn, hva vi egentlig vil ha er et moralsk rammeverk som kan guide oss dit, som forteller oss hvilke ting som er rette og gale i utgangspunktet, og hvordan vi skal kunne vite i enhver situasjon hva vi skal gjøre.

Så la oss skaffe oss et moralsk rammeverk. Vi er siffer-mennesker, vi lever av tall. Hvordan kan vi bruke tall som basis for et moralsk rammeverk? Jeg kjenner en fyr som gjorde nøyaktig det, En genial fyr -- han har vært død i 2500 år. Platon, det stemmer. Husker dere ham -- gammel filosof? Dere sov i den timen. Og Platon, han hadde mange av de samme bekymringene som vi hadde. Han var bekymret over rett og galt. Han ville vite hva som er rettferdig. Men han var bekymret over at alt vi så ut til å gjøre var å utbytte synspunkter om dette. Han sier at noe er rettferdig. Hun sier at noe annet er rettferdig. Det er ganske overbevisende når han snakker og når hun snakker også. Jeg går bare frem og tilbake; jeg kommer ingen vei. Jeg vil ikke ha synspunkter, jeg vil ha kunnskap. Jeg vil ha sannheten om rettferdighet -- som vi har sannheter i matematikk. Innenfor matematikk vet vi objektive fakta. Ta et tall, hvilket som helst -- to. Favorittall. Jeg elsker det tallet. Det finnes sannheter om to. Hvis du har to av noe, du legger til to til, så får du fire. Det er sant uansett hva slags ting du snakker om. Det er en objektiv sannhet om formen av to, den abstrakte formen. Når du har to av noe -- to øyer, to ører, to neser, bare to utspring -- de tar alle formen av to. De er alle med i sannheten som to har. De har alle en to-het i seg. Og derfor er det ikke et spørsmål om synspunkter.

Enn hvis, tenkte Platon, etikk var som matematikk? Enn hvis det fantes en ren form for rettferdighet? Enn hvis det finnes sannheter om rettferdighet, og du bare kan se deg rundt i verden og se hvilke ting som tilhørte, var en del av den formen for rettferdighet? Da hadde du visst hva som virkelig var rettferdig og hva som ikke var det. Det hadde ikke blitt et spørsmål om bare synspunkter eller fremtreden. Det er en oppsiktsvekkende visjon. Jeg mener, tenk på det. Så flott. Så ambisiøst. Det er så ambisiøse vi er. Han vil løse etikken. Han ønsker objektiv sannhet. Hvis du tenker på den måten. har du et platonsk moralsk rammeverk.

Hvis du ikke tenker på den måten, vel, da har du mye selskap fra vestens historiske filosofi, siden en så ryddig idé -- du vet, folk kritiserte den. Aristoteles, spesielt, han var ikke fornøyd. Han mente det var upraktisk. Aristoteles sa, "Vi burde søke kun så mye presisjon i ethvert emne, som det emnet tillater." Aristoteles mente etikk ikke var som matematikk. Han mente etikk var et spørsmål om å ta beslutning i øyeblikket gjennom å bruke vårt beste skjønn for å finne den rette veien. Hvis du tenker sånn er ikke Platon din type. Men ikke gi opp. Kanskje finnes det en annen måte vi kan bruke tall på som en basis for vårt moralske rammeverk.

Hva med dette: Enn hvis du, i enhver situasjon, kunne beregne, se på valgmulighetene, måle opp hvilken som er bedre og vite hva man skal gjøre? Høres dette kjent ut? Det er et utilitaristisk moralsk rammeverk. John Stuart Mill var en stor advokat for dette -- hyggelig fyr foresten -- og har kun vær død i 200 år. Så grunnleggende utilitarisme -- det er sikkert litt kjent. De tre personene som stemte for Mill tidligere kjenner til dette. Men her er måten det fungerer på. Enn hvis moral, enn hvis det som gjør noe moralsk, bare er et spørsmål om hvorvidt det maksimerer nytelse og minimerer smerte? Det tilfører noe inneboende til handlingen. Det er ikke dens relasjon til noen abstrakt form. Det er bare et spørsmål om konsekvenser. Du ser på konsekvensene og ser om de, overordnet, gjør det bedre eller verre. Det hadde vært enkelt. Da vet vi hva vi skal gjøre.

La oss ta et eksempel. La oss si at jeg går opp og sier, "Jeg tenker å ta din telefon." Ikke bare fordi den ringte tidligere, men jeg tenker ta den fordi jeg har gjort et lite regnestykke. Jeg tenkte, den fyren ser mistenkelig ut. Og hva om han har sendt noen små meldinger til Bin Ladens gjemmested -- eller hvem som nå tok over etter Bin Laden -- og han er faktisk som en terrorist, en 'hvilende'. Jeg skal finne det ut, og når jeg har funnet det ut, så skal jeg forhindre en enorm mengde skader som han kunne ha skapt. Det har en veldig høy nytteverdi å forhindre den skaden. Og sammenlignet med den lille smerten det kommer å forårsake -- fordi det kommer til å bli pinlig når jeg ser på telefonen hans og ser at han har et Farmville-problem og alt det der -- det blir overgått av verdien av å se på den telefonen. Hvis du føler det på den måten, så er det et utilitaristisk valg

Men kanskje føler du det ikke på den måten heller. Kanskje tenker du, det er hans telefon. Det er galt å ta hans telefon, fordi han er en person og han har rettigheter og han har verdighet, og vi kan ikke bare forstyrre det. Han har autonomi. Det spiller ingen rolle hva regnestykket er. Det finnes ting som er grunnlegende galt -- slik som å lyve er galt, som å torturere uskyldige barn er galt. Kant var veldig bra på det punktet, og han sa det litt bedre enn jeg sier det. Han sa at vi skulle bruke vårt fornuft til å finne ut de reglene som skal styre vår adferd. Og da er det vår plikt å følge disse reglene. Det er ikke et spørsmål om beregning.

Så la oss stoppe. Vi er midt i smørøyet her, i dette filosofiske kaoset. Og dette fortsetter i tusenvis av år, fordi dette er vanskelige spørsmål, og jeg har bare 15 minutter. Så la oss komme til saken. Hvordan burde vi ta våre beslutninger? Er det Platon, er det Aristoteles, er det Kant, er det Mill? Hva burde vi gjøre? Hva er svaret? Hva er formelen som vi kan bruke i enhver situasjon for å avgjøre hva vi burde gjøre, hvis vi burde bruke denne fyrens data eller ikke? Hva er formelen? Det finnes ingen formel. Det finnes ikke et enkelt svar.

Etikk er vanskelig. Etikk krever tenkning. Og det er ukomfortabelt. Jeg vet; Jeg tilbragte mye av min karriere innenfor kunstig intelligens, og forsøkte bygge maskiner som kunne gjøre noe av denne tenkningen for oss, som kunne gi oss svar. Men det kan de ikke. Du kan ikke bare ta menneskelig tenkning og putte den inn i en maskin. Det er vi som må gjøre det. Heldigvis, vi er ikke maskiner, og vi kan gjøre det. Ikke bare kan vi tenke, vi må. Hannah Arendt sa, "Den triste sannheten er at den verste ondskapen i denne verden ikke kommer fra mennesker som velger å være onde. Den kommer fra å ikke tenke." Det er hva hun kaller "ondskapens banalitet." Og responsen på det er at vi krever øvelse i å tenke fra enhver fornuftig person.

Så la oss gjøre det. La oss tenke. Faktisk, la oss starte akkurat nå. Alle personer i dette rommet gjør følgende: tenk på den siste gangen dere skulle ta en beslutning hvor dere var bekymret over å gjøre det riktige, hvor dere lurte på, "Hva burde jeg gjøre?" Ha det i tankene. Og nå reflekter rundt det og si, "Hvordan kom jeg frem til den beslutningen? Hva gjorde jeg? Fulgte jeg magefølelsen? Fikk jeg noen til å stemme om det? Eller tok jeg sjansen på rettssystemet? Eller nå har vi noen fler muligheter. "Vurderte jeg hva som hadde gitt den høyeste nytelsen som Mill hadde gjort? Eller som Kant, brukte jeg fornuftet for å finne ut hva som var grunnleggende riktig?" Tenk på det. Virkelig ha det i tankene. Dette er viktig. Det er så viktig at vi skal bruke 30 sekunder av verdifull TEDTalk-tid og ikke gjøre noe annet enn å tenke på det. Er dere klare? Nå.

Stopp. Bra jobba. Hva dere nettopp gjorde, er det første trinnet mot å ta ansvar for hva vi burde gjøre med all vår makt.

Nå til neste trinn -- prøv dette. Let opp en venn og forklar for dem hvordan du tok den beslutningen. Ikke akkurat nå. Vent til jeg har snakket ferdig. Gjør det i lunsjen. Og finn ikke bare en annen teknologvenn; finn noen som er annerledes enn du. Finn en artist eller en forfatter -- eller, Gud forby, finn en filosof og snakk med dem. Forresten, finn noen fra humaniora. Hvorfor? Fordi de tenker på problem annerledes enn vi gjør som teknologer. For bare et par dager siden, rett over gaten herfra, var det hundrevis av mennesker sammen. Det var teknologer og humanister på den der BiblioTech-konferansen. Og de samlet seg sammen fordi teknologene ville lære seg hvordan det ville være å tenke fra et humanistisk perspektiv. Du har noen fra Google som snakker med noen som gjør komparativ litteratur. Du tenker på relevansen av fransk teater fra 1600-tallet -- hvordan innvirker det på risikokapital? Vel, det er interessant. Det er en annen måte å tenke på. Og når du tenker på den måten, blir du mer følsom for menneskelige hensyn, som er avgjørende for å ta etiske beslutninger.

Så forestill deg akkurat nå du gikk og du fant en musikkvenn. Og du forteller ham hva vi snakker om, om hele vår datarevolusjon og alt dette -- kanskje til og med nynner noen strofer fra vår temasang. ♫ Dum ta da da dum dum ta da da dum ♫ Vel, din musikkvenn vill stoppe deg og si, "Du vet, den temasangen for din datarevolusjon, det er en opera, det er Wagner. Den er basert på Norrøn legende. Det er guder og mytiske skapninger som sloss over magiske smykker." Det er interessant. Nå er det også en vakker opera. Og vi blir rørt av den operaen Vi blir rørt fordi det handler om kampen mellom godt og ondt, om rett og galt. Og vi bryr oss om rett og galt. Vi bryr oss om hva som skjer i den operaen. Vi bryr oss om hva som skjer i "Apocalypse Now." Og vi bryr oss virkelig om hva som skjer med vår teknologi.

Vi har så mye makt i dag, at det er opp til oss å finne ut hva vi skal gjøre. Og det er de gode nyhetene. Vi er de som skriver den her operaen. Dette er vår film. Vi finner ut hva som skal skje med denne teknologien. Vi bestemmer hvordan dette vil ende.

Tusen takk.

(Applaus)