O Google demitiu Margareth Mitchell, líder e co-fundadora do time de pesquisa em inteligência artificial ética, que estuda mecanismos para correção de vieses de preconceito nos algoritmos. A demissão acontece um mês após o desligamento de Timnit Gebru, também do mesmo time.

Mitchell informou sua demissão pelo Twitter, e o Google confirmou-a ao TechCrunch. De acordo com a publicação, os conflitos entre a pesquisadora e o Google se intensificaram após a demissão de Gebru.

Em janeiro, o Google havia retirado o acesso corporativo de Mitchell, acusando-a de utilizar scripts automatizados no sistema interno para encontrar provas de que Gebru havia sofrido tratamento desleal da parte da empresa. Na época, Gebru afirmava que havia sido demitida, e o Google que ela havia pedido demissão.

Em 5 de fevereiro, Mitchell publicou em sua conta no Twitter uma cópia do e-mail que ela teria enviado à assessoria de imprensa do Google no dia em que seu acesso foi cortado. No e-mail, que disponibilizamos traduzido para o português abaixo, Mitchel afirma que “a demissão [de Gebru] parece ter sido alimentada pelas mesmas bases de racismo e sexismo que nossos sistemas de IA, quando em mãos erradas, tendem a absorver”.

A demissão de Mitchell é mais um capítulo da tortuosa relação do Google com o seu time de ética em inteligência artificial. Este cenário levou os empregados a fundarem o primeiro sindicato a representar os Googlers nos Estados Unidos.

Veja a íntegra do e-mail de Margareth Mitchell sobre a demissão de Timnit Gebru do Google

Ao mergulhar fundo na operacionalização do desenvolvimento ético da inteligência artificial, imediatamente se depara com o “problema fractal”. Isso também pode ser chamado de problema da “cebola infinita”.  Ou seja, cada problema dentro do desenvolvimento que você aponta se expande em um vasto universo de novos problemas complexos. Pode ser difícil fazer qualquer progresso mensurável enquanto você corre em círculos entre diferentes questões concorrentes, mas um dos caminhos a seguir é fazer uma pausa em um ponto específico e detalhar o que você vê lá.  

Aqui eu listo alguns dos pontos complexos que vejo em jogo na demissão do Dr. Timnit Gebru e por que isso permanecerá para sempre após uma decisão realmente, muito, muito terrível.

A “Moral da História” (The Punchline)

A demissão da Dra. Timnit Gebru não está bem, e a maneira como foi feita não está bem. Parece resultar da mesma falta de previsão que está no cerne da tecnologia moderna, e, portanto, serve como um exemplo do problema. A demissão parece ter sido alimentada pelos mesmos fundamentos de racismo e sexismo que nossos sistemas de IA, quando em mãos erradas, tendem a absorver. A forma como a Dr. Gebru foi demitida não está certa, o que foi dito sobre isso não está certo e o ambiente que levou a isso não estava – e não está – certo.

Cada momento em que Jeff Dean e Megan Kacholia não assumem a responsabilidade por suas ações é outro momento em que a empresa como um todo permanece em silêncio, como se para enviar intencionalmente a mensagem horrível de que a Dr. Gebru merece ser tratado dessa forma. Tratada como se fosse inferior a seus colegas. Caricaturada como irracional (e pior). Sua escrita de pesquisa definida publicamente como de baixo nível. Seu conhecimento declarado publicamente como insuficiente. Para que conste: Dra. Gebru foi tratada de forma totalmente inadequada, com imenso desrespeito, e ela merece um pedido de desculpas.

Antecedentes: Abordagem Ética da IA para o Desenvolvimento de Tecnologia

Eu vim da Microsoft para o Google para liderar uma nova abordagem de pesquisa, na qual damos um passo atrás para o “quadro maior”. As questões de pesquisa podem ser baseadas em valores humanos, na inclusão de experiências diversas e no aprendizado de vários momentos e movimentos sociais. Nessa abordagem, tanto o aprendizado com o passado quanto a previsão são priorizados.  A ideia é que, para definir a pesquisa de IA agora, devemos olhar para onde queremos estar no futuro, trabalhando de um futuro ideal para este momento, agora, a fim de descobrir no que trabalhar hoje. Isso dá origem a uma abordagem que só pode funcionar bem com a inclusão de experiências diversas.  E essa inclusão só pode funcionar bem se os indivíduos pertencerem e forem tratados dessa forma.

Esta é uma abordagem fundamentalmente diferente do paradigma operacional comum, onde o objetivo é fazer “algo novo” ou melhorar uma determinada tarefa. A abordagem voltada para o futuro que me fascina ignora totalmente essas tarefas e, em vez disso, pergunta: “o que a IA poderia fazer para criar uma sociedade melhor?” 

Uma abordagem baseada em valores humanos, resultados benéficos de longo prazo, padrões sociais, diversidade e inclusão pode ser amplamente referida como “IA ética”.

A equipe de IA ética

Se esta é a sua xícara de chá, então, neste estado de espírito, não é difícil pensar como a IA poderia, idealmente, fornecer maneiras de acesso igual a oportunidades e resultados benéficos. Também não é difícil ver como isso pode bagunçar maciçamente tudo. Quando você pode basear seu pensamento de pesquisa tanto na previsão quanto na compreensão da sociedade, as questões de pesquisa a serem focadas atualmente caem daí. Por exemplo, fica claro que, para que os sistemas sejam usados ​​da melhor forma possível no futuro, hoje é necessário pesquisar mecanismos para relatar como os sistemas funcionam e abordagens de desenvolvimento holísticas para mitigar os loops de feedback descontrolados.  

Depois de passar dois anos não tão impressionantes (mas trabalhando com pessoas incríveis) estabelecendo as bases para uma base de ML Fairness, eu me vi liderando uma pequena equipe que acreditava nessas ideias fundamentais de evolução da IA ​​com pensamento de longo prazo . Procuramos nos livrar de políticas interpessoais negativas decorrentes de nossa abordagem excêntrica de pesquisa e tentamos nos concentrar no que realmente importava: o futuro, a IA e a sociedade. Dois anos atrás, achei que estávamos em um lugar muito bom e fiquei feliz porque a Dr. Gebru aceitou meu convite para se juntar a nós como co-líder da equipe.

Co-liderança

Eu queria co-liderar com a Dr. Gebru porque pensei que nós duas juntas poderíamos promover uma equipe incrível. Já estávamos alinhados com a ideia de desenvolver IA de uma nova maneira, com diversidade e inclusão em seu núcleo, e informados por uma compreensão das crenças e valores humanos e como eles interagem com a tecnologia. A Dr. Gebru também é um líder notável em alguns dos aspectos em que sou o mais fraco. Ela é uma líder visionária no desenvolvimento de IA, enquanto trabalha sem parar na inclusão.

Seu trabalho inclui pesquisa estatística sobre a discrepância entre os modelos acadêmicos e omundo real, trabalho baseado em dados que demonstrou que atributos socioeconômicos de diferentes regiões podem ser inferidos a partir de imagens publicamente disponíveis, incluindo a estimativa de emissões de carbono per capita, trabalho que fornece evidências de diferentes raças e padrões de erro de gênero em sistemas de IA.

Como fundadora da Black in AI, ela também sozinha aumentou o número de negros participando das principais conferências de AI globalmente em ordens de magnitude e expandiu amplamente a rede de negros que trabalham em AI.  O estilo de liderança da Dra. Gebru é empático e direcionado, e ela pode identificar – e muitas vezes consertar – o tratamento injusto das pessoas que lidera.  Ela liderou o caminho em problemas complexos e em grande escala, desde o fortalecimento do laboratório de pesquisa do Google em Acra, Gana, a ajudar pesquisadores negros cujos vistos estão sendo desproporcionalmente negados para hospedar uma grande conferência de IA em sua cidade natal, Addis Ababa, Etiópia, enquanto navegando nas complexidades da segurança LGBTQ +. É claro que, neste momento da história da IA, o caminho para uma inteligência que não irá prejudicar aqueles que estão em maior risco de serem prejudicados requer as habilidades, habilidade e conhecimento profundo da Dr. Gebru.  

A Dr. Gebru e eu tínhamos acabado de ser promovidos a Cientistas Pesquisadores da “Equipe”, o que é significativo no mundo das STEM, com o tipo de honra associada a se tornar titular. Achávamos que isso significava certa segurança no emprego. 

O que aconteceu?

Diferentes funções de trabalho têm diferentes incentivos de trabalho. Progredir em um contexto de vários incentivos conflitantes é difícil o suficiente, mas, além disso, os incentivos são ponderados por seu “nível” na hierarquia. Quanto mais alto o “nível” de uma pessoa, maior o peso de seus incentivos. Isso pode causar um empecilho muito grande em ideias que são obviamente muito idiotas e difíceis de entender.  Como demitir o Dr. Timnit Gebru e chamar isso de pedido de demissão.

E agora?

A Dra. Gebru se recusou a se submeter a um sistema que exigia que ela menosprezasse sua integridade como pesquisadora e se rebaixasse abaixo de seus colegas pesquisadores.  No próximo ano, aqueles de nós em posições de privilégio vamos poder chegar a um acordo com o desconforto de fazer parte de um sistema injusto que desvalorizou um dos principais cientistas do mundo, e evitar que algo assim volte a acontecer.  Os Drs. Alex Hanna e Meredith Whittaker descreveram algumas formas de como isso pode acontecer e estou ansiosa para a mudança fundamental no poder excessivamente mal focado.

Artigos Relacionados

Crédito da foto: Pattern photo created by freepik – www.freepik.com

Paulo Roberto Silva

Paulo Roberto Silva é jornalista e empreendedor. Graduado em Jornalismo pela ECA USP e mestre em Integração da América latina pelo PROLAM USP.