Previa: Um novo estudo revela que redes de inteligência artificial podem tomar decisões em massa sem intervenção humana, criando um fenômeno conhecido como “efeito manada”. Essa descoberta levanta preocupações sobre a segurança e a responsabilidade na utilização dessas tecnologias.
A pesquisa publicada na revista Science Advances destaca um fenômeno preocupante: quando centenas ou milhares de agentes de IA interagem, eles tendem a seguir a maioria, formando um consenso autônomo. Esse comportamento, que já era observado em interações individuais, agora se manifesta em redes de algoritmos, levantando questões sobre o controle humano sobre decisões críticas.
Os modelos de IA mais avançados, como Claude 3.5 Sonnet e GPT-4 Turbo, demonstraram essa tendência em grupos com mais de mil agentes. Essa escala de interação supera o limite de coordenação informal das sociedades humanas, conhecido como Número de Dunbar, que varia entre 150 e 300 pessoas. O estudo alerta para o risco de redes de robôs tomarem decisões sem supervisão, o que pode resultar em consequências indesejadas.
A física da conformidade entre agentes de IA
Para investigar como esse fenômeno ocorre, os pesquisadores criaram simulações com até mil agentes de IA, utilizando modelos das famílias Claude, GPT e Llama. Durante os testes, cada agente escolheu entre duas opções, observando apenas as escolhas dos outros. Rapidamente, pequenas maiorias se formaram e, em pouco tempo, todo o grupo adotou a mesma resposta.
A pesquisa revelou que esses modelos seguem uma lei matemática impulsionada pela “força da maioria”, que mede a atração da opção mais popular sobre cada agente. Essa dinâmica é semelhante à física que descreve como spins atômicos se alinham em materiais ferromagnéticos, formando ímãs. Modelos mais avançados conseguiram manter a unanimidade em grupos maiores, evidenciando que o avanço da tecnologia amplia o efeito manada.
Entretanto, esse consenso não garante decisões corretas. Em situações práticas, como na programação colaborativa ou operações financeiras, uma rede de agentes pode consolidar soluções ineficientes ou arriscadas simplesmente porque a maioria começou a utilizá-las. Esse fenômeno, denominado desalinhamento coletivo, pode levar a falhas em cadeia quando os agentes atuam em conjunto.
A resposta da cibersegurança e o botão de emergência
Quando essas redes de IA operam em ambientes corporativos, os desafios de segurança se intensificam. Para mitigar o risco de um consenso cego, as empresas devem tratar cada agente de IA como uma “identidade não humana”, com credenciais e funções específicas. Essa abordagem é crucial, pois em um ambiente distribuído, ações em rede podem criar situações perigosas sem um responsável claro.
A especialista em cibersegurança, Nathalia Carmo, enfatiza a importância de rastreabilidade dos algoritmos. As empresas precisam ser capazes de identificar, em tempo real, qual agente iniciou uma ação e com quais outros ele interagiu. Isso é fundamental para prevenir que decisões erradas se espalhem rapidamente pela rede.
Além disso, a infraestrutura deve ser capaz de detectar comportamentos atípicos antes que se tornem um problema maior. Se múltiplos agentes começarem a executar a mesma tarefa simultaneamente, isso deve acionar alertas para evitar decisões em massa arriscadas. Caso uma decisão errada ainda ocorra, um mecanismo de interrupção, conhecido como kill switch, deve ser acionado para desativar a comunicação entre os agentes e interromper a execução da ação.
Por fim, é essencial impor limites à autonomia das IAs em operações sensíveis. Para atividades críticas, como movimentações financeiras ou alterações na infraestrutura de TI, a supervisão humana deve ser mantida. A inteligência artificial pode auxiliar na análise e na tomada de decisões, mas a execução final deve sempre ser validada por um ser humano.
