Parte I – Panorama do filme
Há um senso comum que nos faz pensar que a Inteligência Artificial é algo ficcional, que pertence ao mundo hollywoodiano, ou seja, estadunidense. Neste último caso, concordamos. Atualmente há nove empresas que trabalham com inteligência artificial, seis delas estão localizadas nos Estados Unidos e três na China.
E o que isso significa? As duas potências mundiais produzem inteligência artificial com viés completamente diferentes, partindo da diferença política dos dois países, onde um usa a IA de maneira estatal e outro corporativista. Qual é mais danoso? Nossa noção ocidental e democrática nos faz acreditar que somos totalmente livres, mas realmente somos?
Com base no filme documental da Netflix “Coded Bias” de 2020, pontuamos algumas questões que nos atravessaram para falarmos sobre o atual sistema de máquinas. Dirigido por Shalini Kantayya, o documentário de maneira didática investiga e expõe a disposição racista e machista da inteligência artificial (IA) e trás à tona a luta de ativistas que lutam contra a legislação frágil e irregular da tecnologia de reconhecimento facial.
Joy Buolamwini, acadêmica e pesquisadora ganense-americana de 33 anos que dá luz a essa investigação. Nos minutos iniciais do documentário, Buolamwini percebe uma falha na tecnologia de reconhecimento facial: ele não a reconhece. Em seu primeiro semestre de doutorado de PhD no MIT Media Lab, do Massachusetts Institute of Technology (MIT) ela cria o “Espelho Aspire”.
“Pensei num espelho que me inspirasse de manhã, o Espelho Aspire. Ele poderia pôr um leão no meu rosto ou pessoas que me inspiravam, como Serena Williams.” – Joy Buolamwini
O projeto de Buolamwini é interrompido por um “problema” que surge logo no início do processo. Utilizando um software de visão computacional para detectar seu rosto, ela percebe que há algo de errado quando o sistema não detecta seu rosto, mas quando Buolamwini veste e aproxima uma máscara branca ele a reconhece instantaneamente.
Como consequência disso, Buolamwini começa a analisar e estudar outros softwares das cinco principais empresas de tecnologia dos EUA: IBM, Microsoft, Face++, Amazon e Google. Comprovou-se que os sistemas desses grandes grupos tiveram maior desempenho em detectar rostos masculinos brancos. Também identificou-se que em uma escala decrescente, rostos femininos branco tiveram maior chance de identificação, logo em seguida rostos masculinos negros e por último rostos femininos negros.
Perceba, sua concentração é desviada para algo que ela não tem responsabilidade, mas que mesmo assim ela se pôs em lugar de solucionar, para assim dar continuidade em seu projeto. A concentração agora é em outro lugar, um lugar obscuro e hostil. Essas são as mil faces do racismo, para além das manifestações não sutis, Joy, uma classe, uma comunidade inteira são afetados com o racismo algorítmico, que é quase impalpável por esta dentro de um sistema computacional, e que apesar de ser impessoal, não é neutro pois reproduz ações humanas.
Dessa forma, o que nós usuários podemos fazer para minimamente refrear o racismo algorítmico? O primeiro passo é entendermos o que realmente está ao nosso alcance e superarmos o fato de que somos micros diante de empresas de big techs.
O segundo, acreditamos que com as nossas próprias redes sociais podemos fazer algo, por exemplo. Ter o exercício de acompanhar pessoas não-brancas, seguir, dar likes ou engajar essas pessoas de outras formas, já é algo considerável, pois os algoritmos são treinados, ou seja, eles aprendem conosco.
O terceiro e último, é responsabilizar socialmente essas empresas, assim fazemos com que a ideia de que os vilões, são algo ou alguém distante da nossa realidade. Porque par além de uma tela, das plataformas digitais os efeitos do racismo algorítmico relacionam-se com a violência também fora desses espaços.
“A inteligência artificial é voltada ao futuro, mas a IA baseia-se em dados, e dados são reflexo da história, então o passado está marcado em nossos algoritmos.” – Joy Buolamwini
Parte II – Reconhecimento Facial e Racismo no Brasil
“Artificial Intelligence (AI) is rapidly infiltrating every aspect of society. From helping determine who is hired, fired, granted a loan, or how long an individual spends in prison, decisions that have traditionally been performed by humans are rapidly made by algorithms.” – Joy Buolamwini
Joy Buolamwini inicia seu artigo em parceria com Timnit Gebro, pesquisadora na área de inteligência artificial, já estabelecendo que cada vez mais decisões estão sendo delegadas às AIs. São usadas para determinar acessos a importantes aspectos da vida social como as chances de emprego, empréstimo e até mobilidade.
Em Brasília, a tecnologia de reconhecimento facial foi adotada em 2018 nos transportes públicos como um projeto de cidade conectada, smart city. Elizandra Salomão em Direito à (priva)cidade: da câmera na catraca às prisões com uso de reconhecimento facial vigilância e proteção de dados pessoais no Distrito Federal:
“o Governo do Distrito Federal decidiu iniciar a implantação de sistemas de identificação biométrico-faciais. Num processo unilateral, impôs aos beneficiários dos sistemas de gratuidades tarifárias, que incluem estudantes e pessoas com deficiência, a captação compulsória de suas imagens, no momento de rodar a catraca, para averiguar se a pessoa que estava se utilizando do benefício era aquela a quem ele seria autorizado.”
Numa tentativa de evitar fraudes no sistema do Passe Livre o Governo do Distrito Federal impõe o mecanismo de identificação biométrica-facial, sem o consentimento da população acerca do uso da tecnologia e dos dados gerados por ela. Além, da postura imperativa o sistema é extremamente falho já que não reconhece um rosto com mudanças no cabelo ou acessórios, com isso, restringe o acesso ao transporte público.
Elizandra Salomão evidencia em seu texto a pesquisa de Joy Buolamwini ao argumentar que no contexto de Brasília, uma cidade com 57,6% de negros, a inconsistência da tecnologia de reconhecimento acentua o estado de vulnerabilidade que essa maioria já enfrenta. A pesquisa de Buolamwini e Gebro, comprovou, a ineficácia do sistema de reconhecimento facial de identificar o rosto de uma pessoa negra, sendo a mulher negra de pele mais escura as mais classificadas erroneamente.
“Para jovens e negros, a tecnologia [inteligência artificial] é a certeza de que continuarão a ser abordados de forma preferencial, em nome da chamada guerra às drogas. O reconhecimento facial tem se mostrado uma atualização high-tech para o velho e conhecido racismo que está na base do sistema de justiça criminal e guia o trabalho policial há décadas” – Pablo Nunes,2021 Exclusivo: Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros
Pablo Nunes, em reportagem para o The Intercept aponta que 90,5% dos presos por reconhecimento facial no Brasil são negros. Os dados são alarmantes evidenciam a pertinência da preocupação de Elizandra Salomão com a segurança da população negra de Brasília. A desproporcionalidade numérica de negros presos por reconhecimento facial é descabida e comprova como esses sistemas automatizam e despersonificam as violências raciais.
Na Bahia, estado que lidera as prisões com a nova tecnologia, ao utilizarem o vídeo monitoramento durante quatro dias da Micareta de Feira de Santana, 1,3 milhões de rostos foram capturados, 903 alertas acionados e 96% dos casos não resultaram em nada. Os equívocos do reconhecimento facial, entretanto, causa constrangimento, violências e prisões arbitrárias.
A implementação de tecnologias como o reconhecimento facial em diferentes esferas da vida social se dá também a partir de uma relação que empresas e grupos que dominam a área intencionalmente constroem com a população. O “progresso” e “avanço” tecnológico permanecem numa visão apenas positiva e acrítica sendo associado com uma vida mais pratica e funcional. Para ter a legitimidade da população os bilionários da tecnologia, como Elon Musk e Jeff Bezos elaboram imagem e vendem a imagem do gênio que não tinha nada e foi capaz sozinho de conquistar o mundo.
“O homem que se fez por si, examinado com rigor científico, revela ser na verdade aquele que se fez pelos outros, mas teve a habilidade de transformar-se a si próprio em conceito ideológico, de elevar a efígie de si mesmo, idealizada, à altura do eidos paradigmático, de fazer crer aos outros que eles é que se fizeram por ele”” – Álvaro Pinto Vieira, O conceito de Tecnologia
Parte III – Exemplos
Como exemplo de arte e artista que lidam com o tema, encontramos o artista visual Gu da Cei, que desenvolve o seu trabalho artístico através de intervenções urbanas, instalações e performances. Ele atua em Brasília e discute questões da contemporaneidade, como esse problema de imagem e vigilância nos transportes coletivos.
A sua obra que mais nos chamou atenção foi a intervenção que critica as empresas de ônibus que circulam pelo Distrito Federal e fotografam os passageiros, quando eles passam pela roleta.
Segundo notícia do G1, a medida foi tomada pelo DFTrans com o objetivo de diminuir fraudes no sistema de transporte público do Distrito Federal e “os custos da tecnologia ficam por conta das empresas” que circulam ali: Marechal, Pioneira, Piracicabana, Urbi e São José.
Dia 17 de Julho de 2018, Gu da Cei projetou, em uma plataforma da rodoviária, reproduções das imagens capturadas pelo sistema de reconhecimento facial usado por três dessas empresas de ônibus. A performance tinha como objetivo questionar o controle que o governo tem sobre os passageiros e o uso das imagens de todos aqueles que dependem do transporte público.
Gu da Cei, em 2018, disse que ficou meses esperando resposta da Controladoria Geral do Distrito Federal em relação aos gastos para implementar o sistema de biometria facial nesses mais de 2,8 mil veículos pertencentes à frota e em relação ao período de armazenamento dessas imagens.
O G1 conta que o artista conseguiu as imagens para a sua performance através da Lei de Acesso à Informação e que, em entrevista, ele disse que se preocupa com o controle que o governo passou a ter sobre o trânsito das pessoas.
Em Abril de 2022, Gu da Cei abriu a sua primeira exposição individual, com o conceito de “contravigiar”, que ele mesmo define como a ideia de “lançar um novo olhar não apenas para o direito ao espaço urbano, à mobilidade e à privacidade, como também à prática do coletivo e do público”.
O curador da exposição, Elilson Nascimento, comenta, em entrevista ao Metrópoles, que o Gu da Cei “parece se transmutar em uma plataforma coletiva” nos lembrando que nossos corpos “têm sido tomados, capturados, registrados e disseminados como meros transportes de dados”.
Parte IV – Possibilidades de solução
Em uma palestra, Joy Buolamwini explica sobre suas experiências com as falhas nos sistemas de reconhecimento facial e, mais tarde, explica que os algoritmos refletem a nossa sociedade. Por conta de todas as questões envolvidas nas falhas dos softwares, Joy passa a se dedicar ao combate do preconceito e fala sobre a necessidade de responsabilidade na codificação, principalmente quando os algoritmos estão cada vez mais ocupando espaços importantes na nossa vida.
Neste Ted Talk ela fala que precisamos analisar “como damos visão às máquinas”, questionar quem as codifica e se estamos sendo inclusivos e responsáveis nesses ensinamentos. Ela diz que “é importante quem codifica, é importante como se codifica e é importante por que se codifica”.
Como sugestão de mudança, Joy fala em começar a criar séries de treinamento mais inclusivas, com campanhas em que as pessoas possam ajudar os desenvolvedores a testar, a fim de construir um software mais inclusivo e saudável.
Para ajudar, ela lança o projeto Liga da Justiça Algorítmica e abre um espaço para que as pessoas possam relatar situações, compartilhar experiências, participar de testes, solicitar auditorias e debater sobre essa questão.
Ao fim da palestra, ela diz que luta para que “a tecnologia trabalhe em favor de todos, não apenas em favor de alguns”, em um mundo onde a inclusão seja valorizada.
Para fechar, nós queríamos levantar uma questão: como nós mesmos podemos educar os nossos próprios algoritmos? O que podemos fazer para mudar as nossas redes sociais e os nossos espaços de conversa, dentro e fora da vida online?
Grupo: Érica Lopes Ferreira Soares, Giovana de Oliveira Devisate e Victoria Felix
Imagens
Imagem 1: pôster do filme. Netflix/reprodução
Imagem 2: Joy Buolamwini. Netflix/reprodução
Imagem 3: dados da IBM. Netflix/reprodução
Imagem 4: pesquisa da Joy.
Disponível em: <http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf>
Imagem 5: matéria do site The Intercept Brasil
Disponível em: <https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/>
Imagem 6: performance de Gu da Cei. Matheus Barros/G1
Imagem 7: performance de Gu da Cei. Matheus Barros/G1
Imagem 8: Ted Talk – Joy Buolamwini
Bibliografia
BUOLAMWINI, Joy; GEBRU, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability, and Transparency, p. 1–15, 2018. Disponível em: <http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf>
NUNES, Pablo. Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros. The Intercept Brasil, 21 Nov 2019.Disponível em:<https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/>
Salomão, Elizandra, 2020, Direito à (priva)cidade: da câmera na catraca às prisões com uso do reconhecimento facial vigilância e proteção de dados pessoais no distrito federal. XI COPENE – Congresso Brasileiro de Pesquisadores/as Negros/as
PINTO, Álvaro Vieira. O conceito de tecnologia, Rio de Janeiro, Contratempo, 2005
Quem. Gu da Cei Arte. Disponível em: <https://www.gudacei.art.br/quem>
CARVALHO, Leticia. Artista cria performance como imagens da biometria facial de ônibus do DF, 19 Jul 2018. Disponível em: <https://g1.globo.com/df/distrito-federal/noticia/2018/07/19/artista-cria-perfomance-com-imagens-da-biometria-facial-de-onibus-do-df.ghtml>
ANDRADE. Ranyelle. Gu da Cei abre primeira exposição individual e, galeria de Ceilândia, 5 Abr 2022. Disponível em: <https://www.metropoles.com/entretenimento/exposicao/gu-da-cei-abre-primeira-exposicao-individual-em-galeria-de-ceilandia>
Buolamwini. TedTalk: How I’m fighting bias in algorithms. Nov 2016. Disponível em: <https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms/transcript?language=en&subtitle=pt-br>
Arte, mídias e tecnologias 