Joy Buolamwini
1,327,274 views • 8:44

Olá, sou a Joy, uma poetisa de código, numa missão de fazer parar uma força invisível em ascensão, uma força a que eu chamo "olhar codificado," o meu termo para preconceito algorítmico.

O preconceito algorítmico, como o preconceito humano, resulta da injustiça. Porém, os algoritmos, tal como os vírus, podem espalhar preconceitos numa grande escala num ritmo rápido. O preconceito em algoritmos também pode levar a experiências de exclusão e a práticas discriminatórias. Vou mostrar o que quero dizer.

(Vídeo) Olá, câmara, eu tenho um rosto. Podes ver o meu rosto? Um rosto sem óculos? Podes ver o rosto dela. E o meu rosto? Tenho uma máscara. Vês a minha máscara?

Joy: Então, como é que isso aconteceu? Porque é que eu estou em frente de um computador com uma máscara branca, a tentar ser detetada por uma câmara de vídeo barata? Quando não estou a lutar contra o olhar codificado como uma poetisa de código, sou uma estudante de pós-graduação no laboratório de "media" do MIT. Aí tenho a oportunidade de trabalhar em todo tipo de projetos bizarros, incluindo o Espelho de Desejar, um projeto que fiz para poder projetar máscaras digitais para o meu reflexo. Então, pela manhã, se quisesse sentir-me poderosa, eu podia usar um leão. Se quisesse ficar inspirada, podia ter uma citação. Então eu usei o software genérico de reconhecimento facial para construir o sistema, mas descobri que era difícil testá-lo a menos que usasse uma máscara branca.

Infelizmente, eu já tinha esbarrado nesse problema. Quando era universitária em Georgia Tech e estudava ciência informática, eu costumava trabalhar em robôs sociais, e uma das minhas tarefas era fazer com que um robô jogasse às escondidas, um simples jogo de turnos em que os parceiros escondem a cara e depois destapam-na, dizendo "Espreita!" O problema é que isso só funciona se eu puder ver o outro, e o meu robô não me via. Pedi emprestada a cara da minha colega de quarto para terminar o projeto, apresentei a tarefa e pensei: "Sabem que mais, outra pessoa que resolva esse problema".

Pouco tempo depois, eu estava em Hong Kong para uma competição de empreendedorismo. Os organizadores decidiram levar os participantes numa visita às "start-ups" locais. Uma das "start-ups" tinha um robô social, e decidiram fazer uma demonstração. A demonstração funcionou com toda a gente até chegar a minha vez. Provavelmente já adivinham. Não conseguiu detetar o meu rosto. Perguntei aos responsáveis o que é que se passava, e acontece que tínhamos usado o mesmo software genérico de reconhecimento facial. Do outro lado do mundo, aprendi que o preconceito do algoritmo pode viajar tão depressa quanto uma descarga de ficheiros da Internet.

Então, o que é que se passa? Porque é que a minha cara não é detetada? Temos de olhar para o modo como damos visão às máquinas. A visão informática usa técnicas de aprendizagem de máquina para fazer o reconhecimento facial. Funciona assim: criamos um grupo de formação com exemplos de rostos. Isto é um rosto. Isto é um rosto. Isto não é um rosto. Com o tempo, podemos ensinar o computador a reconhecer rostos. Contudo, se os grupos de formação não forem diversificados, qualquer rosto que se desvie demasiado da norma estabelecida será difícil de detetar. Era o que estava a acontecer comigo.

Mas não se preocupem, há boas notícias. Os grupos de formação não se materializam do nada. Na verdade, podemos criá-los. Portanto, há a oportunidade de criar grupos de formação com um espetro completo que reflitam um retrato mais rico da humanidade.

Vocês viram nos meus exemplos com os robôs sociais que foi como eu descobri a exclusão com o preconceito algorítmico. Mas o preconceito algorítmico também pode levar a práticas discriminatórias. Nos Estados Unidos da América, os departamentos da polícia começam a usar o software de reconhecimento facial no seu arsenal de luta contra o crime. A Faculdade de Direito de Georgetown publicou um relatório mostrando que um em dois adultos, nos EUA — ou seja, 117 milhões de pessoas — têm os rostos em redes de reconhecimento facial. Os departamentos da polícia podem procurar nessas redes não regulamentadas, usando algoritmos que não foram auditados quanto ao seu rigor. No entanto, sabemos que o reconhecimento facial não é à prova de falhas, e rotular rostos consistentemente continua a ser um problema. Podem ter visto isto no Facebook. Os meus amigos e eu estamos sempre a rir quando vemos outras pessoas mal rotuladas nas nossas fotos. Mas a má identificação de um possível criminoso não é motivo para rir, e o mesmo acontece com a violação das liberdades civis.

A aprendizagem de máquinas está a ser usada para reconhecimento facial, mas está a estender-se para além do domínio da visão por computador. No seu livro, "Armas de Destruição Matemática" (ADM), a cientista de dados Cathy O'Neil fala sobre o aumento de novas ADM algoritmos difundidos, misteriosos e destrutivos que estão a ser cada vez mais usados para tomar decisões que afetam mais aspetos da nossa vida. Por exemplo, quem é contratado ou despedido? Recebemos esse empréstimo? Recebemos o seguro? Somos admitidos na faculdade em que queremos entrar? Pagamos todos o mesmo preço para o mesmo produto comprado na mesma plataforma?

A polícia também está a começar a usar a aprendizagem de máquinas para policiamento preditivo. Alguns juízes usam a avaliação de risco gerada por máquinas para determinar quanto tempo um indivíduo vai passar na prisão. Portanto, temos mesmo que pensar nessas decisões. Elas sãos justas? Já vimos que o preconceito algorítmico nem sempre conduz a resultados justos.

Então, o que podemos fazer quanto a isso? Podemos começar a pensar em criar códigos mais inclusivos e usar práticas de codificação inclusiva. Isto começa com as pessoas. Por isso, é importante quem codifica. Estaremos a criar equipas de espetro completo com diversos indivíduos que podem verificar os pontos cegos uns dos outros? No lado técnico, é importante a forma como codificamos. Estaremos a considerar a equidade enquanto desenvolvemos os sistemas? E, finalmente, é importante a razão por que codificamos. Temos usado ferramentas de criação informática para desbloquear uma riqueza imensa. Agora temos a oportunidade de desbloquear uma igualdade ainda maior se dermos prioridade à mudança social e não uma reflexão tardia. Portanto, estes são os três princípios que formam o movimento "de codificação". É importante quem codifica, é importante como codificamos, e é importante a razão por que codificamos.

Para avançarmos para a codificação, podemos começar a pensar em construir plataformas que possam identificar preconceitos reunindo as experiências de pessoas como as que eu contei, e também auditando os softwares existentes. Também podemos começar a criar grupos de formação mais inclusivos. Imaginem uma campanha "Selfies para Inclusão" em que qualquer um pode ajudar os desenvolvedores a criar e testar grupos de formação mais inclusivos. Também podemos começar a pensar com maior consciência no impacto social da tecnologia que estamos a desenvolver.

Para iniciar o movimento de codificação, lancei o Algoritmo Liga da Justiça, em que todos os que se interessam pela justiça podem ajudar a lutar contra o olhar codificado. Em codedgaze.com, podem relatar preconceitos, exigir auditos, fazerem testes e participar das conversas em curso, #codedgaze.

Portanto, convido-os a juntarem-se a mim para criar um mundo em que a tecnologia funcione para todos nós, não apenas para alguns, um mundo em que valorizamos a inclusão e nos centramos na mudança social.

Obrigada.

(Aplausos).

Mas eu tenho uma pergunta: Vão juntar-se a mim nesta luta?

(Risos)

(Aplausos)