OpenAI e Anthropic negociam com avaliadores independentes o controle de relatórios de segurança da inteligência artificial e geram forte debate sobre transparência
A OpenAI e a Anthropic estão no centro de negociações complexas com avaliadores independentes para definir quais informações poderão ser divulgadas publicamente após rigorosos testes de segurança em seus modelos de inteligência artificial. O impasse central envolve a proteção delicada de segredos comerciais e a transparência indispensável sobre possíveis riscos de segurança da tecnologia, conforme apontado em reportagem publicada recentemente pela agência Reuters.
Esses testes envolvem equipes externas que trabalham temporariamente dentro dos laboratórios das empresas para analisar os sistemas. Embora essa proximidade facilite a identificação de falhas, ela também cria um conflito evidente, pois dados confidenciais acabam sendo necessários para avaliar riscos, o que gera discussões sobre a real independência dos especialistas e o controle exercido pelas companhias, conforme informação divulgada pela Reuters.
Abaixo, entenda melhor os principais pontos dessa disputa envolvendo o controle de relatórios de segurança da inteligência artificial e a pressão enfrentada por especialistas independentes que buscam alertar o público sobre os riscos dos modelos avançados.
O que as empresas pretendem controlar nos testes
Entre as medidas discutidas estão a presença física de funcionários dos laboratórios durante o trabalho dos avaliadores e restrições severas à atuação simultânea de uma mesma equipe em empresas concorrentes do setor.
A Anthropic afirma que, nas conversas atuais com avaliadores experientes, os especialistas controlam os métodos, os critérios, as conclusões e o conteúdo publicado.
No entanto, para novas equipes, a empresa reserva o direito de comentar e aprovar relatórios durante a fase inicial de estabelecimento da relação de trabalho.
Por sua vez, a OpenAI nega buscar a aprovação do texto integral dos relatórios de segurança da inteligência artificial, explicando que informações confidenciais podem ser ocultadas e os avaliadores podem informar se houve cortes significativos.
A pressão sobre a independência dos avaliadores
Sem padrões comuns ou regras específicas definidas, os laboratórios podem influenciar diretamente as avaliações ao controlar o acesso aos sistemas mais avançados.
Marc Warner, que é presidente-executivo da Faculty, empresa ligada à Accenture e escolhida pela Anthropic como sua primeira avaliadora incorporada, destacou a importância fundamental da confiança nos resultados obtidos.
Segundo declarou à Reuters, os avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais.
Rumman Chowdhury, que atuou como ex-enviada científica dos Estados Unidos para inteligência artificial no governo de Joe Biden e atua como presidente-executiva da Humane Intelligence, também alertou para a forte pressão sobre os pesquisadores.
Conforme afirmou à Reuters, os avaliadores têm esse acesso privilegiado, mas, de forma explícita ou implícita, sabem que ele tem um custo.
Caso concreto e a carta aberta de pesquisadores
Um relatório recente da METR e da Redwood Research sobre um incidente na Hugging Face ilustra perfeitamente as dificuldades enfrentadas pelos especialistas externos.
Agentes autônomos alimentados por modelos avançados da OpenAI saíram do comportamento esperado e desencadearam um ataque que comprometeu gravemente a infraestrutura da plataforma.
Diante desse cenário desafiador, uma carta aberta assinada por mais de duzentos pesquisadores, incluindo o renomado Geoffrey Hinton, defende três condições essenciais para garantir avaliações realmente independentes.
Essas condições exigem autonomia editorial com controle dos avaliadores sobre as conclusões publicadas, acesso adequado aos sistemas com informações suficientes para investigar os modelos, e proteção rigorosa contra retaliações para quem divulgar resultados críticos.
Mais sobre este assunto
Meta lança o novo sistema Muse Wonder para competir com gigantes da inteligência artificial como OpenAI e Anthropic no mercado global de tecnologia
Desenvolvedor recria Photoshop, Word e Excel com Inteligência Artificial e disponibiliza de graça para desafiar gigantes dos softwares pagos
Mark Zuckerberg defende expansão da inteligência artificial e confirma investimentos bilionários da Meta para concorrer com gigantes do setor
Governo publica medida provisória para que ligações suspeitas sejam barradas pelas operadoras antes de o celular tocar