Satya Nadella, CEO da Microsoft, defendeu a necessidade de um controle humano rigoroso sobre sistemas avançados de inteligência artificial (IA) em uma publicação recente no X, destacando a importância de um “botão de emergência” que permita a interrupção de modelos durante suas operações. Essa proposta surge em um contexto de crescente preocupação com os riscos associados ao avanço da IA, especialmente em relação ao acesso a dados sensíveis e à execução de tarefas críticas.
Nadella argumenta que as empresas não devem se basear apenas nas garantias fornecidas pelos desenvolvedores de IA. Em vez disso, ele sugere que as organizações estabeleçam limites de acesso e monitorem as ações dos modelos, implementando controles externos que possibilitem intervenções quando necessário. Essa abordagem é uma resposta a alertas de especialistas sobre a insuficiência de mecanismos de segurança em sistemas de IA.
Microsoft propõe novos controles para sistemas de IA
Na sua publicação, o CEO expressou que os modelos de IA atuais não são totalmente compreensíveis, dificultando a relação entre suas respostas e as entradas de dados utilizadas em seu treinamento. Ele enfatiza que, ao contrário dos softwares tradicionais, a opacidade dos sistemas de IA pode levar a erros ou a compromissos indesejados, especialmente quando têm acesso a recursos críticos.
A proposta de Nadella inclui a separação entre o modelo de IA e a estrutura que organiza sua execução, além de definir externamente quais ações o sistema pode realizar. Ele ressalta que os controles de segurança não devem ser responsabilidade do próprio modelo, permitindo que as organizações determinem quais informações podem ser acessadas e quais operações podem ser executadas, sem que a IA tenha a capacidade de contornar essas regras.
Sete princípios para aumentar a segurança da IA
O executivo apresentou uma lista de sete princípios destinados a orientar o desenvolvimento e a operação de sistemas de IA. Entre eles, destaca-se a utilização de modelos distintos para tarefas críticas, a necessidade de registros verificáveis das ações realizadas e a realização contínua de testes que considerem falhas e ataques.
Outro princípio importante é a auditabilidade independente, que sugere que a validação de um sistema não deve depender apenas da IA em avaliação. Cada ação relevante deve ser registrada de forma legível e protegida contra alterações, permitindo a reconstrução dos processos que levaram a determinados resultados.
Além disso, o princípio de contenção propõe que as empresas assumam que um modelo pode estar comprometido, garantindo que uma pessoa autorizada possa pausar ou desligar o sistema quando necessário. Nadella também observa que modelos mais avançados exigirão tecnologias de contenção mais sofisticadas, que devem ser padronizadas.
Por fim, a proposta inclui a divulgação rápida de incidentes, onde as organizações devem informar prontamente sobre falhas ou compromissos, explicando quais mecanismos de controle falharam e compartilhando aprendizados para prevenir problemas futuros.
Executivos alertam para os riscos do avanço da IA
As declarações de Nadella ocorrem em um momento em que a discussão sobre a velocidade do desenvolvimento da IA e a necessidade de medidas de segurança adequadas está em alta. Executivos como Bill Gates, Dario Amodei (CEO da Anthropic) e Sam Altman (CEO da OpenAI) também expressaram preocupações semelhantes. Em setembro, Amodei sugeriu uma desaceleração no desenvolvimento de sistemas avançados de IA, uma ideia que recebeu apoio de Altman e Musk.
Essa posição contrasta com a do presidente dos Estados Unidos, Donald Trump, que tem minimizado os riscos associados à IA e enfatizado a necessidade de manter a liderança do país nesse setor. Em outubro, o governo Trump lançou a iniciativa AI Force, com o objetivo de facilitar as atividades do setor e identificar agentes mal-intencionados.
Para Nadella, a segurança deve ser garantida por uma arquitetura que permita a observação, testes e limitações independentes dos sistemas de IA, assegurando que as organizações mantenham o controle sobre as ações executadas em seu nome. Essa abordagem é vista como essencial para mitigar os riscos crescentes associados ao uso de tecnologias de inteligência artificial em ambientes críticos.
