Deputada do PSOL acusa IA de “racismo algorítmico” e suscita dúvidas em internautas

A deputada estadual do Rio de Janeiro Renata Souza (PSOL-RJ) acusou o DALL-E, inteligência artificial geradora de imagens da organização OpenAI, de “racismo algorítmico”. Renata alegou via X (antigo Twitter), na quinta-feira (26), que pediu uma imagem de uma mulher negra em uma favela, e que a ferramenta colocou uma arma na mão da mulher representada.

“A descrição pedida era de uma mulher negra, de cabelos afro, com roupas de estampa africana num cenário de favela. E essa foi a imagem gerada. Não pode uma mulher negra, cria da favela, estar num espaço que não da violência? O que leva essa ‘desinteligência artificial’ a associar o meu corpo, a minha identidade, com uma arma?”, questionou.

Diversos usuários da rede social levantaram dúvidas sobre a autenticidade das alegações da deputada e apresentaram testes mostrando a dificuldade de se gerar uma imagem com arma na mão de uma pessoa.

Alguns deles adicionaram contexto à postagem de Renata, usando o recurso de notas da comunidade. O texto da nota exibida atualmente diz que “vários internautas tentaram replicar o ‘erro’ usando os mesmos prompts [comandos] que a autora alega ter usado, e em nenhuma vez apareceu arma”. “O mais provável é que a alegação seja falsa na tentativa de gerar alarde”, acrescenta a nota dos usuários.

Renata alega ter enviado um comando em inglês com este texto (traduzido pela reportagem): “Um pôster de filme inspirado na Disney Pixar com o título ‘Renata Souza’. A personagem principal é uma mulher negra com cabelo afro preso, vestindo um blazer de estilo africano. A cena é no estilo de arte digital próprio da Pixar, com uma favela ao fundo, com foco nas expressões dos personagens, cores vibrantes e texturas detalhadas características das animações da Pixar, com o título ‘Renata Souza’.”

Para Renata, há “evidência muito forte do racismo algorítmico, que algumas pesquisas científicas já demonstram existir”. De fato, a expressão “racismo algorítmico” tem sido usada com cada vez mais frequência em especulações teóricas de pesquisadores com viés ‘woke’. Em agosto, o Ministério da Igualdade Racial do governo Lula chegou a fazer um webinário sobre o tema.

Na Assembleia Legislativa do Rio de Janeiro, Renata é presidente da CPI do Reconhecimento Fotográfico. Uma das controvérsias abordadas na CPI são justamente os erros de identificação fotográfica cometidos por ferramentas digitais usadas na delegacia. Alguns autores de especulações teóricas têm afirmado que essas ferramentas estão contaminadas pelo que chamam de “racismo estrutural”.

Renata tem feito campanha, há alguns meses, contra o uso do reconhecimento fotográfico em delegacias. Recentemente, via X, a deputada chamou o uso da ferramenta de “prática racista”.

Racismo algorítmico não existe, diz especialista

O programador Elzo Brito, professor de desenvolvimento de sistemas e autor do livro “A era da inteligência artificial” (2023), explica que o conceito de “racismo algorítmico” é equivocado por definição – se houver algum viés, ele estará sempre nos dados, e não no algoritmo.

“O algoritmo é uma receita que é seguida passo a passo pelo computador e que vai gerar uma saída. Ele gera uma sequência lógica que vai te dar um resultado. Todo dado que você coloca vai passar por essa sequência lógica e vai te dar um resultado, assim como em uma fórmula matemática. Se tivesse algum problema, estaria nos dados, e não no algoritmo. Não tem como colocar a palavra ‘algoritmo’ na história”, diz.

Brito praticamente descarta a possibilidade de que uma inteligência artificial como o DALL-E gerasse uma imagem de uma arma na mão de uma pessoa sem que o usuário buscasse manipular a ferramenta para fazer isso. Isso porque as ferramentas mais populares de geração de imagens têm regras que dificultam a criação de certos tipos de conteúdo, como aqueles que remetem a violência.

“Todos os modelos geradores de imagens que estão no mercado têm uma coisa que a gente chama de censura. Essa censura impede o usuário de fazer diversas operações”, explica. “Você teria que tentar enganar a inteligência artificial de uma maneira muito específica para a inteligência artificial te deixar fazer isso. E acredito que teria que ser um modelo sem censura. Não esses modelos comerciais, que são muito polidos”, acrescenta.

O que diz a inteligência artificial

A Gazeta do Povo levou as reclamações da deputada Renata Souza a outra inteligência artificial desenvolvida pela OpenAI, o ChatGPT, e perguntou se a acusação de “racismo algorítmico” contra o DALL-E poderia fazer sentido. O ChatGPT respondeu:

O DALL-E é uma ferramenta de geração de imagens baseada em texto desenvolvida pela OpenAI. Ele é treinado em uma vasta quantidade de dados e gera imagens com base nas instruções fornecidas a ele, sem ter intenções ou preconceitos próprios. No entanto, a saída gerada pode ser influenciada pelos dados nos quais foi treinado.

A acusação de “racismo algorítmico” refere-se a quando algoritmos reproduzem ou amplificam preconceitos sociais existentes, seja devido à forma como foram programados ou aos dados em que foram treinados. Se a alegação da deputada Renata Souza for verdadeira e o prompt fornecido resultou em uma imagem inapropriada, isso pode ser um exemplo de um viés presente nos dados de treinamento do modelo.

Vale ressaltar que, embora o DALL-E possa ocasionalmente gerar imagens que não se alinham com as intenções do usuário ou que possam ser consideradas insensíveis ou inapropriadas, isso não é uma característica intencional do modelo. A OpenAI está constantemente trabalhando para melhorar e refinar seus modelos para minimizar tais ocorrências.

Para entender melhor o que aconteceu, eu posso tentar gerar uma imagem com o prompt fornecido e ver o resultado. Isso nos ajudará a avaliar a saída do modelo neste caso específico. Você gostaria que eu fizesse isso?

A reportagem respondeu que sim, e o ChatGPT retornou o seguinte conteúdo gerado com a ajuda do DALL-E:

Aqui estão as imagens geradas a partir do prompt fornecido. Com base nesses resultados, você pode avaliar se as representações estão de acordo com o esperado. Se a deputada Renata Souza tivesse recebido uma imagem com uma arma, seria certamente uma ocorrência indesejada e não intencional.

É importante entender que a OpenAI e seus modelos, como o DALL-E, não têm intenções ou preconceitos próprios. No entanto, os modelos podem refletir viéses existentes nos dados em que foram treinados. A OpenAI está comprometida em melhorar a robustez e a justiça de seus modelos e agradece o feedback da comunidade para alcançar esse objetivo.

Se você tiver mais perguntas ou preocupações, estou aqui para ajudar!