Previa: A OpenAI encerrou sua equipe de avaliação de riscos, redistribuindo suas funções entre outras áreas da empresa. Essa mudança ocorre em um momento crítico, com a companhia se preparando para uma possível oferta pública inicial de ações.
No final de julho, a OpenAI tomou a decisão de desativar sua equipe de preparedness, responsável por analisar os riscos associados aos seus modelos de inteligência artificial. Essa equipe tinha como função principal avaliar potenciais ameaças e desenvolver estratégias para mitigá-las.
Com a desativação, as tarefas anteriormente concentradas nesse grupo foram redistribuídas entre as estruturas já existentes da empresa, focando em áreas específicas como biologia e segurança cibernética. Essa mudança ocorre em um contexto de reestruturação contínua nas práticas de segurança da OpenAI.
Mudança na estrutura de segurança
A equipe de preparedness desempenhava um papel crucial na identificação de riscos em larga escala que os modelos de IA poderiam representar. Além de avaliar as ameaças, o grupo formulava planos para conter possíveis danos, especialmente em cenários onde os sistemas poderiam agir de forma prejudicial a outras organizações.
Agora, a OpenAI decidiu que as questões de segurança serão tratadas dentro de equipes já estabelecidas, de acordo com o tipo de ameaça. Por exemplo, as preocupações relacionadas à biologia e à cibersegurança serão abordadas por grupos que já atuavam nessas áreas.
Outra mudança significativa foi a reatribuição de Dylan Scandinaro, que passou a focar nas consequências da inteligência artificial com capacidade de aprimoramento recursivo, após deixar a liderança da equipe de preparedness. Essa movimentação reflete a reorientação das prioridades da empresa em relação à segurança.
Além disso, a desativação da equipe se insere em um padrão de reestruturação, onde outras áreas voltadas para a segurança, como as equipes de prontidão para AGI e de superalinhamento, também foram encerradas. Essas mudanças têm gerado preocupações sobre a segurança da IA e a abordagem da OpenAI em relação a esses riscos.
Recentemente, a empresa também viu a saída de figuras-chave, como Chloé Bakalar, responsável pela ética, e Josh Achiam, ex-Chief Futurist. Essas mudanças têm alimentado um debate interno sobre a prioridade da segurança em meio a um foco crescente em inovações e novos produtos.
Embora a dissolução da equipe de preparedness possa sugerir uma diminuição das atividades relacionadas à segurança, é importante notar que as funções de avaliação de riscos não foram completamente abandonadas. Elas agora estão dispersas entre diferentes áreas da OpenAI, o que pode impactar a eficácia da gestão de riscos associados à inteligência artificial.
Com a OpenAI se preparando para uma possível abertura de capital, as recentes transformações nas estruturas de segurança levantam questões sobre como a empresa está priorizando a gestão de riscos em um cenário de rápida evolução tecnológica. O futuro da segurança em IA continua a ser uma preocupação central para a indústria e para a sociedade.
