Aaron Koblin: Kunstig onze menselijkheid visualiseren

Ik denk dat data ons menselijker kunnen maken. We verzamelen en creëren allerlei soorten data over hoe we onze levens leiden, en dat stelt ons in staat om enkele geweldige verhalen te vertellen. Een wijze mediatheoreticus Twitterde onlangs, "De 19e-eeuwse cultuur werd gedefinieerd door de roman, De 20e-eeuwse cultuur werd gedefinieerd door de film, en de cultuur van de 21e eeuw zal gedefinieerd worden door de interface." En ik geloof dat dit zal blijken te kloppen. Onze levens worden gestuurd door data, en de presentatie van die data is een mogelijkheid om interfaces te maken, die prachtige verhalen vertellen. Ik ga jullie een aantal van de projecten laten zien, waar ik aan heb gewerkt de afgelopen jaren en die terugslaan op onze levens en onze systemen.

Dit is een project genaamd vluchtpatronen. Wat jullie zien is vliegtuigverkeer over Noord-Amerika gedurende een periode van 24 uur. Zoals jullie zien, begint alles donker te worden, en je ziet mensen naar bed gaan. Daarop volgend zie je aan de Westkust vliegtuigen over en weer gaan; de nachtvluchten naar de Oostkust. Je zal iedereen wakker zien worden aan de Oostkust, gevolgd door Europese vluchten die in de rechterbovenhoek binnenkomen. Iedereen gaat van de Oostkust naar de Westkust. Je ziet San Francisco en Los Angeles hun reizen naar Hawaï beginnen te maken in de linkerbenedenhoek.

Het is één ding om te zeggen dat 140.000 vliegtuigen op elk gegeven moment worden gemonitord door de federale overheid, en heel wat anders om dat systeem in beweging te zien. Dit is een time-lapse beeld van exact dezelfde data, maar ik heb heb het met kleur gecodeerd per type, zodat je de diversiteit aan vliegtuigen in de lucht kunt zien. Ik begon met het maken van deze beelden, zette ze op Google Maps en liet je inzoomen om de individuele vliegvelden te zien en de patronen die zich daar voltrekken. Hier zien we dat het witte de lage hoogtes voorstelt en het blauwe de hogere hoogtes. Je kan inzoomen. Hier kijken we naar Atlanta. Je kan zien dat dit een groot goederenvliegveld is, en er is allerlei activiteit daar. Je kan ook wisselen van hoogte naar model en fabrikant. Zie hier opnieuw de diversiteit. Je kan rondscrollen en enkele verschillende vliegvelden zien, en de verschillende patronen die ze hebben. Hier scrollen we omhoog langs de Oostkust. Je kan iets van de chaos zien die in New York plaatsvindt waar de luchtverkeersleiders met grote vliegvelden naast elkaar te maken hebben.

We zoomen snel uit en zien opnieuw de VS -- met Florida in de rechterbenedenhoek. Als je langs de Westkust beweegt, zie je San Francisco en Los Angeles -- grote laag-verkeerszones over Nevada en Arizona. En dat daar onderaan zijn wij, hier beneden in L.A. en Long Beach. Ik begon ook te kijken naar andere variabelen, omdat je kan kiezen wat je uit de data wilt pikken. Hier zien we dalende tegenover opstijgende vluchten. Je ziet dat de vliegvelden mettertijd veranderen. Je ziet holdingpatronen die zich ontwikkelen beneden in het scherm. En zoals je ziet, verandert het vliegveld uiteindelijk van richting.

Dit is een ander project waar ik aan gewerkt heb met het Sensible Cities lab aan MIT. Dit visualiseert internationale communicatie. Dus dit is hoe New York communiceert met andere internationale steden. We hebben dit opgezet als een live aardbol in het Museum der Moderne Kunsten in New York voor de 'Design the Elastic Mind'-expositie. Het had een live toevoer met een 24-uurscompensatie, zodat je de veranderende relaties kon zien, en wat demografische informatie die door AT&T's data onthuld werd. Dit is een ander project samen met Sensible Cities Lab en CurrentCity.org. Het visualiseert sms-berichten die worden verstuurd in Amsterdam. Je ziet dus de dagelijkse af- en toename van mensen die sms-berichten sturen vanuit verschillende delen van de stad, tot we bij Oud en Nieuw komen, wanneer iedereen "Gelukkig Nieuwjaar!" zegt.

(Gelach)

Dit is dus een interactief middel dat je kan bewegen om verschillende delen van de stad te zien. Hier zien we een ander evenement. Dit is Koninginnedag. Dus opnieuw krijg je die dagelijkse af- en toename van mensen die sms-berichten sturen vanuit verschillende delen van de stad. Je zal zien dat mensen zich gaan verzamelen in het centrum van de stad om de nacht van tevoren feest te vieren, wat op dit moment gebeurt. En je kan de mensen de volgende dag feest zien vieren. Je kan pauzeren en heen en weer gaan om verschillende fasen te zien.

En nu naar iets compleet anders. Sommigen van jullie herkennen dit misschien. Dit is Baron Wolfgang von Kempelens mechanische schaakmachine. Deze geweldige robot kan ontzettend goed schaken, op een ding na: het is helemaal geen robot. Er zit eigenlijk een man zonder benen in die kist die de schaakspeler bestuurt. Dit was de inspiratie voor een webservice van Amazon genaamd Mechanische Turk -- vernoemd naar deze vent. Het is gebaseerd op de aanname dat sommige dingen makkelijk zijn voor mensen, maar erg moeilijk voor computers. Dus maakten zij deze webservice en zeiden, "Elke programmeur kan een stuk software schrijven en gebruik maken van het verstand van duizenden mensen." De nerd in mij dacht: "Wow, dit is geweldig. Ik kan gebruik maken van het verstand van duizenden mensen." En de andere nerd in me dacht: "Dit is verschrikkelijk. Dit is volkomen bizar. Wat betekent dit voor de toekomst van de mensheid, waar we allemaal ingeplugd zijn in deze borg?" Ik was waarschijnlijk wat extreem bezig. Maar wat betekent het, wanneer ons werk niet langer een context heeft, en we slecht kleine taakjes verrichten?

Dus creëerde ik dit tekenhulpmiddel. Ik vroeg mensen om een schaap dat naar links kijkt te tekenen. Ik zei: "Ik betaal je twee cent voor je bijdrage." En ik begon schapen te verzamelen. Ik verzamelde heel, heel erg veel verschillende schapen. Heel veel schapen. Ik nam de eerste 10.000 schapen die ik inzamelde, en zette ze op een website genaamd TheSheepMarket.com waar je collecties van 20 schapen kan kopen. Je kan geen individuele schapen uitkiezen, maar je kan een enkel postzegelblok as artikel kopen. En tegenovergesteld aan dit rooster, zie je door over elk individueel schaap te rollen, de menselijkheid achter dit ontzettend mechanische proces. Ik vind het ontzettend interessant om te kijken naar mensen als zij die creatieve inspanning doen -- iets waar iedereen zich mee kan identificeren, dat creatieve proces waarin je probeert om iets uit niets te maken. Ik vond het interessant om die menselijkheid tegenover dat gigantische rooster te stellen. Best verbazingwekkend wat sommige mensen deden.

Hier zijn enkele statistieken van het project. Inzamelsnelheid ongeveer 11 schapen per uur, wat neerkomt op een salaris van 69 cent per uur. Er waren 662 afgekeurde schapen die niet aan de schaapachtige criteria voldeden en uit de kudde zijn gegooid. (Gelach) De tijd besteed aan het tekenen varieerde van 4 seconden tot 46 minuten. Dat geeft je een idee van de verschillende soorten motivatie en toewijding. Er waren 7.599 mensen die bijdroegen aan het project, of waren unieke IP-adressen -- dus ongeveer zoveel mensen droegen wat bij. Maar slechts een van de 7.599 zei dit. (Gelach) Waar ik best door verrast was. Ik verwachtte dat mensen zich zouden afvragen: "Waarom heb ik een schaap getekend?" Ik denk dat het een vrij valide vraag is.

Er zijn een heleboel redenen waarom ik schapen gekozen heb. Schapen waren de eerste dieren die grootgebracht werden met mechanisch verwerkte bijproducten, de eerste die selectief gefokt werden om hun producteigenschappen, het eerste dier dat werd gekloond. Uiteraard denken wij aan schapen als volgers. Er is een referentie aan "De Kleine Prins" waar de verteller de prins vraagt om een schaap te tekenen. Hij tekent schaap na schaap. De verteller is pas tevreden als hij een doos tekent. En hij zegt: "Het gaat niet om de wetenschappelijke weergave van een schaap. Het gaat om jouw eigen interpretatie en het anders doen." Dat vind ik mooi.

Dit is een clip van Charlie Chaplins "Modern Times." Het toont Charlie Chaplin die omgaat met een aantal grote veranderingen tijdens de Industriële Revolutie. Er waren geen schoenenmakers meer, maar nu zijn er mensen die zolen op de schoenen van mensen knallen. Wat iemands relatie tot zijn werk erg veranderde. Dus dacht ik dat dit een interessante clip was om in 16 delen te verdelen en in te voeren in de Mechanische Turk met een tekenhulpmiddel. Dit gaf de mogelijkheid om -- wat je aan de linkerkant ziet is het originele beeldje, en aan de rechterkant zie je dat beeldje zoals geïnterpreteerd door 16 mensen die geen idee hebben waar ze mee bezig zijn.

En dit was de inspiratie voor een project waar ik aan heb gewerkt met mijn vriend Takashi Kawashima. We besloten de Mechanische Turk te gebruiken waar hij voor bedoeld is, namelijk geld verdienen. Dus namen we een biljet van honderd dollar en verdeelden het in 10.000 piepkleine stukjes, en die voerden we in in de Mechanische Turk. We vroegen mensen om te tekenen wat ze zagen. Maar er waren geen schaapachtige criteria. Of ze nu een stokfiguur tekenden of een smileyface, het werd allemaal geaccepteerd. Wat je ziet is dus eigenlijk een representatie van hoe goed mensen deden wat ze gevraagd werd te doen. We namen deze biljetten van honderd dollar, en we zetten ze op een website genaamd TenThousandsCents.com waar je ze kan doorbladeren en alle individuele bijdragen kan zien. Je kan ook echte biljetten van honderd dollar ruilen voor nepbiljetten van honderd dollar en een donatie doen aan het Hundred Dollar Laptop Project, wat nu bekend is als One Laptop Per Child. Dit laat opnieuw alle verschillende bijdragen zien. Je ziet dat sommige mensen prachtige stippelweergaven maakten zoals deze bovenaan -- besteedden een lange tijd aan het maken van realistische versies. Andere mensen tekenden stokfiguren of smileys. Hier aan de rechterkant in het midden zie je een jongen schrijven: "$0,01!!! Echt? Dat is alles wat ik hiervoor betaald krijg?"

(Gelach)

En het laatste Mechanische Turk-project waar ik met jullie over ga praten, heet Bicycle Built for 2000. Dit is in samenwerking met mijn vriend Daniel Massey. Je zou deze 2 kerels kunnen herkennen. Dit zijn Max Mathews en John Kelly van Bell Labs in de jaren '60, toen zij het nummer "Daisy Bell" hebben gemaakt, wat 's werelds eerste zingende computer was. Je zou het kunnen herkennen uit "2001: A Space Odyssey." Wanneer HAL stervende is aan het eind van de film begint hij dit nummer te zingen, verwijzend naar het moment dat computers menselijk werden. Wij synthetiseerden dit nummer opnieuw. Dit is hoe dat klonk. We splitsten zowel alle individuele noten in het gezang als alle fonemen in het gezang.

Daisy Bell: ♫ Daisy, Saisy ... ♫

Aaron Koblin: We namen al die individuele stukken, en we voerden ze in bij een ander Turkverzoek. Dit is hoe het eruit zou zien als je naar de site ging. Je typt je code in, eerst test je je microfoon. Je zou een simpele audio clip voorgeschoteld krijgen. (Toeter) En dan zou je je best doen om dat te recreëren met je eigen stem. Na het voorbeeld te beluisteren en bevestigen dat dat je inzending was, kon je het zonder verdere context in de Mechanische Turk invoeren. Dit is wat we terugkregen van de allereerste set inzendingen.

Opname: ♫ Daisy, Daisy ♫ ♫ geef me je antwoord ♫ ♫ Ik ben half gek ♫ ♫ van liefde voor jou ♫ ♫ Het kan geen sjieke trouwpartij zijn ♫ ♫ Ik kan me geen koets permitteren ♫ ♫ Maar jij ziet er vast prima uit ♫ ♫ op het zitje van een fiets voor twee ♫

AK: James Surowieki had een idee over de wijsheid der menigten; dat een hele hoop mensen slimmer zijn dan elk individu. We wilden zien hoe dit van toepassing is op het collaboratief, gedistribueerd maken van muziek, waar niemand enig idee heeft waar hij aan werkt. Dus als je naar BicycleBuiltforTwoThousand.com gaat kan je horen hoe dit allemaal samen klinkt. Mijn excuses hiervoor.

(Herrie)

Refrein: ♫ Daisy, Daisy ♫ ♫ geef me je antwoord ♫ ♫ Ik ben half gek ♫ ♫ van liefde voor jou ♫ ♫ Het kan geen sjieke trouwpartij zijn ♫ ♫ Ik kan me geen koets permitteren ♫ ♫ Maar jij ziet er vast prima uit ♫ ♫ op het zitje van een fiets voor twee ♫

AK: Als we even een stap terug doen, toen ik op UCLA aan het afstuderen was, werkte ik ook op een plek genaamd het Centre for Embedded Network Sensing. Ik was software voor visuele laserscanners aan het schrijven. In essentie beweging door 3D-ruimte. En dit werd gezien door een bestuurslid in L.A. genaamd James Frost die zei: "Wacht eens even. Bedoel je dat we een muziekvideo kunnen opnemen zonder daadwerkelijk enige videobeelden te gebruiken?" Dat hebben we toen gedaan. We maakten een muziekvideo voor een van mijn favoriete bands, Radiohead. Ik denk dat een van mijn favoriete gedeelten van dit project niet slechts het filmen van een video met lasers was, maar we maakten het ook open source, en lieten het uitbrengen als een Google Code-project, waar mensen een stuk van de data en wat source code konden downloaden om hun eigen versie ervan te bouwen. En mensen waren geweldige dingen aan het maken. Dit zijn twee van mij favorieten: het prikbord van Thom Yorke en een LEGO Thom Yorke. Een heel YouTube-kanaal van mensen die ontzettend interessante inhoud insturen. Recenter heeft iemand zelfs Thom Yorke's hoofd in 3D geprint, wat enigszins luguber is, maar best cool.

Terwijl iedereen zulke geweldige dingen maakte en daadwerkelijk begreep waar ze aan werkten, was ik erg geïnteresseerd om te proberen een collaboratief project te maken waar mensen samenwerkten om iets te bouwen. Ik ontmoette een muziekvideoregisseur genaamd Chris Milk. En we begonnen te brainstormen voer het maken van een collaboratief muziekvideoproject. Maar we wisten dat we de juiste persoon nodig hadden om ons achter te scharen en iets voor te bouwen. Dus stond het idee een paar maanden op een laag pitje. Hij sprak uiteindelijk met Rick Rubin, die Johnny Cash zijn laatste album aan het afmaken was genaamd "Ain't No Grave." De tekst van het titelnummer is: "Er is geen graf dat mijn lichaam kan houden." Dus wij vonden dit het perfecte project om een collaboratief gedenkstuk en een virtuele herrijzenis voor Johnny Cash te maken.

Ik vormde een team met mijn goede vriend Ricardo Cabello, ook bekend als Mr. Doob, die een veel betere programmeur is dan ik, en hij maakte een geweldig Flash-hulpmiddel om te tekenen. Zoals jullie weten, is een animatie een serie afbeeldingen. We crosscutten een hoop archiefbeelden van Johnny Cash, en met 8 frames per seconde, lieten we individuen een enkel frame tekenen dat zou worden verwerkt in deze dynamisch veranderende muziekvideo. Ik heb geen tijd om het helemaal voor jullie af te spelen, maar ik wil jullie twee korte clips laten zien. Een is het begin van de muziekvideo. En die wordt gevolgd door een korte clip van mensen die al hebben bijgedragen aan het project en daar kort wat over zeggen.

(Muziek)

(Video) Johnny Cash: ♫ Er is geen graf ♫ ♫ dat mijn lijf vast kan houden ♫ ♫ Er is geen graf ♫ ♫ dat mijn lijf vast kan houden ♫ ♫ Als ik de trompet hoor spelen ♫ ♫ Dan rijd ik recht de grond uit ♫ ♫ Er is geen graf ♫ ♫ dat mijn lichaam ... ♫

(Applaus)

AK: Er is geen betere manier om eer te bewijzen aan de man dan om iets te maken voor een van zijn nummers.

Medewerker: I was erg verdrietig toen hij stierf. En ik dacht dat het prachtig, dat het erg mooi zou zijn om iets aan zijn nagedachtenis bij te dragen.

Medewerker Twee: Hierdoor is deze laatste opname van hem echt een levend gedenkstuk.

Medewerker Drie: Dat al deze frames getekend zijn door fans, elk individueel frame, geeft het een ontzettend krachtig gevoel.

Medewerker Vier: Ik heb iedereen gezien van Japan, Venezuela, tot de VS, tot Knoxville, Tennessee.

Medewerker Vijf: Zoveel verschil van frame tot frame, het is echt persoonlijk. Medewerker Zes: Toen ik de video bekeek in mijn kamer, kon ik zien dat ik het in het begin niet begreep. En ik werkte probleem na probleem af, totdat de kleine veldslagen die ik uitvocht met het plaatje zichzelf begonnen op te lossen. Dus je kan daadwerkelijk het moment zien waarop ik weet waar ik mee bezig ben, en een hoop licht en donker erin komt. En op een vreemde manier, is dat ook wat ik leuk vind aan Johnny Cash zijn muziek. Het is de optelsom van zijn leven, alle dingen die gebeurd zijn -- de slechte dingen, de goede dingen. Je hoort iemands leven.

AK: Als je dus naar de website JohnnyCashProject.com gaat, zul je de video bovenaan zien afspelen. En daaronder staan al de individuele frames die mensen hebben bijgedragen aan het project. Dit is dus helemaal nog niet af, maar het is een doorlopend project waar mensen kunnen blijven bijdragen. Als je over een van die individuele thumbnails gaat, kan je de persoon zien die die individuele thumbnail heeft getekend en waar zij zich bevonden. En als je er eentje vindt waar je in geïnteresseerd bent, kan je ook erop klikken en een informatiepaneel openen waar je dat frame een beoordeling kunt geven, die het verder naar de top helpt. En je kan ook de manier zien waarop het is getekend. Ook hier kan je de video en persoonlijke bijdrage zien. Als aanvulling daarop staat er de naam van de artiest, de locatie, hoe lang ze besteedden aan het tekenen ervan. Je kan een stijl kiezen. Deze was dus getagd "Abstract." Maar er zijn een hele hoop verschillende stijlen. En je kan de video op een aantal manieren sorteren. Je kan zeggen: "Ik wil de pointillistische versie of de geschetste versie of de realistische versie." Dan is dit, wederom, de abstracte versie, Die uiteindelijk vrij bizar wordt.

Het laatste project waar ik met jullie over wil praten, is nog een samenwerking met Chris Milk. En dat is genaamd "The Wilderness Downtown." Het is een online muziekvideo voor The Arcade Fire. Chris en ik stonden versteld van het potentieel met moderne webbrowsers van nu, waar je HTML5 audio en video hebt en de kracht van JavaScript om alles ongelofelijk snel weer te geven. We wilden het idee van een muziekvideo die bedoeld was voor het web voorbij het vier bij drie of 16/9 venster duwen en proberen om het over het hele scherm te choreograferen en laten spelen. Maar als belangrijkste, denk ik, wilden we een ervaring maken die niet zoals het Johnny Cash-Project was, waar je een kleine groep mensen had die veel tijd besteedden om iets bij te dragen voor iedereen. Wat nou als we erg lage verplichtingen hadden, maar iets unieks leverden aan elke persoon die bijdroeg?

Het project begint dus met je te vragen om je adres in te voeren van het huis waar je opgroeide. Je typt het adres in -- het creëert een muziekvideo specifiek voor jou, door beelden van Google maps en Streetview op te nemen in de ervaring zelf. Dit zou dus eigenlijk thuis moeten worden bekeken waar jij je eigen adres intypt, maar ik ga jullie een kleine voorbeschouwing geven van wat je kan verwachten.

(Video) Win Butler: ♫ Onze levens veranderen snel ♫ ♫ Onze levens veranderen snel ♫ ♫ Ik hoop dat iets puurs kan blijven ♫ ♫ Ik hoop dat iets puurs kan blijven ♫ ♫ Ooh wat wachtten we ♫ ♫ Ooh wat wachtten we ♫ ♫ Ooh wat wachtten we ♫ ♫ Soms kwam het nooit ♫ ♫ Soms kwam het nooit ♫ ♫ Nog steeds is er die pijn ♫ ♫ We wachtten erop ♫ ♫ We wachtten erop ♫ ♫ We wachtten erop ♫

AK: Ik denk dat als er één ding is om mee te nemen van mijn praatje vandaag, het is dat een interface een krachtig verhalend apparaat kan zijn. En naarmate we meer en meer persoonlijk en sociaal relevante data verzamelen, hebben we een mogelijkheid, misschien zelfs een verplichting, om de menselijkheid te behouden en enkele fantastische verhalen te vertellen terwijl we samen ontdekken en samenwerken.

Ontzettend bedankt.

(Applaus)