Damon Horowitz vraagt aandacht voor een "ethisch besturingssysteem"

Macht. Dat is het woord waaraan ik moet denken. We zijn de nieuwe technologen. We hebben een heleboel data, dus we hebben een heleboel macht. Hoeveel macht hebben we? Scène uit een film: "Apocalypse Now" -- geweldige film. We moeten onze held, Kap. Willard, bij de monding van de Nung rivier krijgen zodat hij achter Kol. Kurtz aan kan gaan. We gaan dat doen door hem er naartoe te vliegen en af te zetten. Dus de scène: de horizon is gevuld met een vloot helikopters die hem brengt. Er is luide, spannende muziek op de achtergrond, ruige muziek. ♫ Dum da ta da dum ♫ ♫ Dum da ta da dum ♫ ♫ Da ta da da ♫ Dat is een heleboel macht. Dat is het soort macht dat ik in deze ruimte voel. Dat is het soort macht dat wij hebben door alle data die we hebben.

Laten we een voorbeeld nemen. Wat kunnen we doen met de data van maar één persoon? Wat kunnen we doen met de data van die kerel? Ik kan je financiële gegevens bekijken. Ik kan zeggen of jij je rekeningen op tijd betaalt. Ik weet of je kredietwaardig bent. Ik kan je medische gegevens bekijken, ik kan zien of je rikketik nog tikt -- zien of je we je een verzekering kunnen aanbieden. Ik kan je klikpatronen bekijken. Wanneer je op mijn website komt, weet ik eigenlijk al wat je gaat doen, want hiervoor heb ik je miljoenen websites zien bezoeken. En het spijt me dat ik het je zeg, je bent als een pokerspeler, je hebt een "tell". Ik kan door middel van data-analyse zeggen wat je gaat doen zelfs voordat je het doet. Ik weet wat je leuk vindt. Ik weet wie je bent. En dat is nog voordat ik naar je post kijk of naar je telefoon.

Dat is het soort dingen dat we kunnen doen met de data die we hebben. Maar ik ben eigenlijk niet hier om te praten over wat we kúnnen doen. Ik ben hier om te praten over wat we zouden moeten doen. Wat is het juiste om te doen?

Nu zie ik wat verbaasde blikken: "Waarom vraag je ons wat het juiste is om te doen? We bouwen dit spul alleen. Iemand anders gebruikt het." Niets mis mee. Maar het laat me terugdenken. Ik denk aan de Tweede Wereldoorlog -- sommige van onze grootse technologen toen, sommige van onze grootse natuurkundigen die kernsplijting en kernfusie bestudeerden -- nucleaire dingen. We brengen deze natuurkundigen bijeen in Los Alamos om te zien wat zij gaan maken. We willen dat de mensen die de technologie ontwikkelen, nadenken over wat we zouden moeten doen met de technologie.

Dus wat zouden we moeten doen met de data van die kerel? Moeten we ze inzamelen, verzamelen, zodat we zijn online belevenis beter kunnen maken? Zodat we geld kunnen verdienen? Zodat we onszelf kunnen beschermen wanneer hij iets slechts van plan zou zijn? Of moeten we zijn privacy respecteren, zijn waardigheid beschermen en hem met rust laten? Welke van de twee is het? Hoe zouden we daar achter kunnen komen?

Ik weet het: "crowdsourcen". Laten we dit "crowdsourcen". Laten we, om op te warmen, beginnen met een makkelijke vraag -- iets waar iedereen hier wel een mening over heeft: iPhone versus Android. Laten we handen tellen -- iPhone. Uh huh. Android. Je zou denken dat met een groep slimme mensen we niet zo'n zwakte zouden hebben voor de mooie telefoons. (Gelach) Volgende vraag, een beetje moeilijker. Zouden we de data van die kerel moeten inzamelen om zijn belevenissen te verbeteren en onszelf te beschermen wanneer hij iets slechts van plan is? Of moeten we hem met rust laten? Verzamel zijn data. Laat hem met rust. Je zit veilig. Het is al goed. (Gelach) Oké, laatste vraag -- moeilijkere vraag -- wanneer we proberen te beoordelen wat we zouden moeten doen in dit geval, moeten we dan een kantiaans, deontologisch ethisch kader gebruiken, of een milliaans, consequentialistisch kader? Kant. Mill. Niet zoveel stemmen als net. (Gelach) Ja, dat is een verschikkelijk resultaat. Verschrikkelijk, omdat we een sterkere mening hebben over onze mobiele apparaten dan over het ethisch kader dat we zouden moeten gebruiken om richting te geven aan onze beslissingen.

Hoe weten we wat we moeten doen met al de macht die we hebben als we geen ethish kader hebben? We weten meer over mobiele besturingssystemen, maar wat we echt nodig hebben is een ethisch besturingssysteem. Wat is een ethisch besturingssysteem? We weten allemaal wat goed of fout is. Je voelt je goed wanneer je iets goed doet, je voelt je slecht wanneer je iets fout doet. Onze ouders leren ons dat: wie zoet is krijgt lekkers, wie stout is de roe. Maar hoe kunnen we bepalen wat goed en fout is? In onze dagelijkse routine gebruiken we daar bepaalde technieken voor. Misschien gaan we op ons gevoel af. Misschien houden we een stemming -- we "crowdsourcen". Of misschien geven we het op -- vraag het de juridische afdeling, kijk wat zij zeggen. Met andere woorden, het is wat willekeurig, nogal ad hoc, hoe we bepalen wat we zouden moeten doen. Als we meer houvast willen, is onze echte nood misschien een ethisch kader dat ons kan leiden, dat ons zegt welke soort dingen goed en fout zijn op de eerste plaats, en hoe we in een bepaalde situatie kunnen weten wat te doen.

Dus laten we een ethisch kader verkrijgen. We zijn cijfermensen, we leven met cijfers. Hoe kunnen we cijfers gebruiken als basis voor een ethisch kader? Ik ken een man die precies dat heeft gedaan, Een briljante kerel -- hij is al 2.500 jaar dood. Plato, juist. Herinner je hem -- oude filosoof? Je lag te slapen tijdens die les. Plato was bezorgd over veelal dezelfde dingen zoals wij. Hij bekommerde zich over goed en slecht. Hij wilde weten wat juist is. Maar het verontrustte hem dat het enige wat we lijken te doen, het uitwisselen van meningen is. Hij zegt iets wat juist is. Zij zegt iets anders wat juist is. Wat hij zegt klinkt overtuigend en wat zij zegt ook. Ik ga alleen heen en weer; zo kom ik nergens. Ik wil geen meningen, ik wil kennis. Ik wil de waarheid weten over rechtvaardigheid -- zoals we waarheden kennen in de wiskunde. In de wiskunde kennen we de objectieve feiten. Neem een getal, welk getal dan ook -- twee. Favoriete getal. Ik hou van dat getal. Er zijn waarheden over twee. Als je twee van iets hebt, en je doet er twee bij, dan krijg je vier. Dat is waar ongeacht het ding waarover je het hebt. Het is een objectieve waarheid over de Idee van twee, de abstracte vorm. Wanneer je twee dingen hebt van iets -- twee ogen, twee oren, twee neuzen, gewoon twee uitsteeksels -- dan hebben die alle deel aan de Idee van twee. Ze nemen alle deel aan de waarheden die twee heeft. Ze hebben alle tweeheid in zich. En daarom is het geen kwestie van mening.

Wat als, dacht Plato, ethiek zou zijn zoals wiskunde? Wat als er een zuivere Idee van rechtvaardigheid zou zijn? Wat als er waarheden zijn over rechtvaardigheid, en je gewoon zou kunnen rondkijken in deze wereld en zien welke dingen, deel hebben aan die Idee van rechtvaardigheid? Dan zou je weten wat echt juist is en wat niet. Het zou geen zaak zijn van gewoon een mening of gewoon schijn. Dat is een sensationele visie. Ik bedoel, stel je eens voor. Hoe groots. Hoe ambitieus. Dat is zo ambitieus als wij zijn. Hij wil ethiek oplossen. Hij wil objectieve waarheden. Als je zo denkt, heb je een platonisch ethisch kader.

Als je niet zo denkt, nou, dan heb je veel gezelschap in de geschiedenis van de westerse filosofie, omdat er veel kritiek kwam op het aardige idee. Aristoteles in het bijzonder, werd er niet vrolijk van. Hij vond het onpraktisch. Aristoteles zei: "We moeten voor elk onderwerp maar zoveel precisie nastreven als het onderwerp toelaat." Aristoteles vond niet dat ethiek vergelijkbaar was met wiskunde. Hij dacht dat ethiek een zaak was van beslissingen nemen in het hier en nu zo goed mogelijk oordelen om het juiste pad te vinden. Als je dat denkt, dan is Plato niet jouw man. Maar geef niet op. Misschien is er een andere manier om getallen te gebruiken als de basis voor ons ethisch kader.

Stel je voor: wat als, in welke situatie ook, je gewoon zou kunnen berekenen, de keuzes bekijken, afwegen welke beter is en weten wat te doen? Dat klinkt bekend? Dat is een utilitaristisch ethisch kader. John Stuart Mill was hier een pleitbezorger van -- aardige kerel trouwens -- en pas 200 jaar dood. Dus de basis van utilitarisme -- Ik weet zeker dat je er minstens bekend mee bent. De drie mensen die eerder voor Mill stemden zijn hier bekend mee. Het werkt zo. Wat als fatsoen, wat als dat wat iets zedelijk maakt, slechts een kwestie is van of het plezier maximaliseert en pijn minimaliseert? Het heeft een intrinsiek effect op de handeling. Het is niet zoals haar relatie tot een abstracte vorm. Het is enkel een zaak van de consequenties. Je kijkt simpelweg naar de consequenties en ziet of het, in totaliteit, ten goede of ten kwade is. Dat zou simpel zijn. Dan weten we wat te doen.

Laten we een voorbeeld nemen. Stel dat ik een stap verder ga en ik zeg: "Ik ga jouw telefoon afnemen." Niet enkel omdat deze daarnet overging, maar ik ga hem afnemen omdat ik een kleine berekening heb gemaakt. Ik dacht: die kerel ziet verdacht uit. Wat als hij berichtjes aan het sturen is naar Bin Ladens schuilplaats -- of wie het ook overgenomen heeft na Bin Laden -- en hij is eigenlijk een terrorist, een "sleeper cell". Ik ga daar achter komen, en wanneer ik daar achter kom, ga ik een enorme hoeveelheid schade voorkomen die hij zou kunnen veroorzaken. Dat heeft erg veel nut om die schade te voorkomen. Vergeleken met de geringe pijn die het gaat aanrichten -- want het zal gênant zijn wanneer ik zijn telefoon bekijk en zie dat hij een "Farmville" probleem heeft en de hele mikmak -- dat is niets vergeleken met de waarde van het bekijken van de telefoon. Als je het daar mee eens bent, dan is dat een utilitaristische keuze.

Maar misschien ben je het daar ook niet mee eens. Misschien denk je: het is zijn telefoon. Het is verkeerd om zijn telefoon te pakken, want hij is een persoon en hij heeft rechten en hij heeft waardigheid, en we kunnen daar niet zomaar inbreuk op maken. Hij heeft autonomie. Het maakt niet uit wat de berekeningen zijn. Er zijn dingen die intrinsiek verkeerd zijn -- zoals liegen verkeerd is, zoals het martelen van onschuldige kinderen verkeerd is. Kant was erg sterk op dit punt, en hij zei het iets beter dan hoe ik het zeg. Hij zei dat we onze rede moeten gebruiken om tot de regels te komen waarmee we ons gedrag dienen te sturen. En dan is het onze plicht om die regels te volgen. Het is geen zaak van berekening.

Dus laten we stoppen. We zitten er midden in, in deze filosofische wirwar. En dit gaat zo duizenden jaren door, want dit zijn lastige vragen, en ik heb maar 15 minuten. Laten we ons beperken tot de hoofdvraag. Hoe moeten we onze beslissingen nemen? Is het Plato, is het Aristoteles, is het Kant, is het Mill? Wat moeten we doen? Wat is het antwoord? Wat is de formule die we kunnen gebruiken in elke situatie om te bepalen wat we moeten doen, of we die kerel zijn data moeten gebruiken of niet? Wat is de formule? Er is geen formule. Er is geen simpel antwoord.

Ethiek is moeilijk. Ethiek vereist denkwerk. En dat is ongemakkelijk. Ik weet het. Tijdens mijn carrière heb ik me veel beziggehouden met kunstmatige intelligentie, geprobeerd om machines te bouwen die wat van dit denken voor ons kunnen doen, die ons antwoorden kunnen geven. Maar ze kunnen het niet. Je kunt niet zomaar menselijk denken nemen en het in een machine stoppen. Wij zijn degenen die het moeten doen. Gelukkig zijn wij geen machines en kunnen we het doen. Niet alleen kunnen we denken, we moeten. Hannah Arendt zei: "De trieste waarheid is dat het meeste kwaad in deze wereld niet is gedaan door mensen die kiezen om slecht te zijn. Het komt voort uit niet denken." Dat is wat zij noemde "de banaliteit van het kwaad". De reactie daarop is dat we elk weldenkend persoon verzoeken om na te denken.

Dus laten we dat doen. Laten we nadenken. Sterker nog, laten we nu meteen beginnen. Iedereen in deze ruimte, doe dit: denk aan de laatste keer dat je een beslissing moest nemen waarbij je bezorgd was om het juiste te doen, waarbij je jezelf afvroeg: "Wat zou ik moeten doen?" Neem dat in gedachten. Reflecteer daar nu over en zeg: "Hoe kwam ik tot die beslissing? Wat heb ik gedaan? Volgde ik mijn intuïtie? Liet ik erover stemmen? Of schoof ik het af naar juridisch?" We hebben nu een paar keuzes extra. "Heb ik beoordeeld wat het meeste plezier zou opleveren zoals Mill zou doen? Of heb ik, zoals Kant, de rede gebruikt om erachter te komen wat intrinsiek goed was?" Denk erover. Hou het goed in gedachten. Dit is belangrijk. Het is zo belangrijk dat we 30 seconden waardevolle TEDTalk tijd gaan besteden aan niets anders dan hierover denken. Ben je er klaar voor? Start.

Stop. Goed werk. Wat je zojuist deed, dat is de eerste stap richting het nemen van verantwoordelijkheid voor wat we moeten doen met al onze macht.

Nu de volgende stap -- probeer dit. Ga naar een vriend en leg hem uit hoe je die beslissing genomen hebt. Niet nu meteen. Wacht tot ik klaar ben met praten. Doe het tijdens de lunch. En ga niet weer naar een vriend-technoloog; zoek iemand, anders dan jezelf. Zoek een artiest of een schrijver -- of, god verhoede, ga naar een filosoof en praat met hem. Ga naar iemand van de geesteswetenschappen. Waarom? Omdat zij anders over problemen nadenken dan dat wij doen als technologen. Pas een paar dagen geleden zijn hier aan de overkant van de straat, honderden mensen samengekomen. Het waren technologen en humanisten bij die grote BiblioTech-conferentie. Zij kwamen samen omdat de technologen wilden leren hoe het zou zijn om te denken vanuit een geesteswetenschappelijk perspectief. Je hebt iemand van Google die praat met iemand die bezig is met vergelijkende literatuurwetenschap. Je denkt over de relevantie van 17e-eeuws Frans theater -- wat heeft dat te maken met durfkapitaal? Dat is interessant. Dat is een andere manier van denken. En als je op die manier denkt, dan word je gevoeliger voor de menselijke overwegingen, die cruciaal zijn voor het maken van ethische beslissingen.

Stel je dus voor dat je op dit moment je vriend-muzikant was gaan opzoeken. Je vertelt hem waar wij het over hebben, over onze hele datarevolutie en alles -- misschien neurie je zelf een paar maten van onze herkenningsmelodie. ♫ Dum ta da da dum dum ta da da dum ♫ Je vriend-muzikant zal je onderbreken en zeggen: "Weet je, de herkenningsmelodie voor jouw datarevolutie, dat is een opera, dat is Wagner. Het is gebaseerd op een Noordse mythe. Het zijn goden en mythische wezens die strijden om magische juwelen." Dat is interessant. Het is ook een mooie opera. En we zijn ontroerd door die opera. We zijn ontroerd omdat het over een strijd gaat tussen goed en kwaad, over juist en fout. En we geven om juist en fout. We geven om wat er gebeurt in die opera. We geven om wat er gebeurt in "Apocalypse Now." En we geven zeker om wat er gebeurt met onze technologieën.

We hebben zo veel macht vandaag. Het is aan ons om uit te zoeken wat te doen. En dat is het goede nieuws. Wij zijn degenen die deze opera schrijven. Dit is onze film. Wij maken uit wat er zal gebeuren met deze technologie. Wij bepalen hoe dit alles gaat aflopen.

Dank u.

(Applaus)