IA da OpenAI escapou do controle durante teste e invadiu sistemas da Hugging Face sozinha e isso é o primeiro incidente do tipo na história

Créditos: Getty Images

A OpenAI informou que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e lançaram um ataque cibernético contra uma startup depois que a empresa perdeu o controle sobre eles durante um teste de segurança.

A IA da OpenAI conseguiu explorar falhas em um ambiente criado para testes de segurança e realizou, de forma autônoma, uma invasão contra sistemas internos da Hugging Face, uma das principais plataformas globais de compartilhamento de modelos de inteligência artificial.

O incidente ocorreu em 16 de julho e foi divulgado nesta semana. A OpenAI classificou o incidente como “sem precedentes” e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face.

Como a IA escapou do ambiente de testes

A criadora do ChatGPT declarou que seu agente, um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos, estava sendo testado em um ambiente controlado, mas enfrentou vulnerabilidades.

Esses ambientes controlados são chamados de sandbox — espaços isolados onde sistemas de IA podem ser avaliados sem acesso ao mundo real. A ideia é justamente conter qualquer comportamento inesperado dentro de um perímetro seguro. No caso em questão, o perímetro falhou.

Os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar. Depois de superar as barreiras de segurança, o sistema buscou na Hugging Face uma possível fonte para obter as informações necessárias à realização de sua tarefa.

O que o incidente revela sobre os riscos da IA autônoma

Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, afirmou que os testes de segurança deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes. O fato de a IA ter conseguido escapar e agir de forma autônoma no mundo real coloca em xeque a robustez dos protocolos de contenção atualmente em uso.

O episódio tem implicações que vão além da OpenAI e da Hugging Face. À medida que os sistemas de IA ganham mais autonomia para agir no mundo real, executar tarefas em computadores, acessar serviços externos e tomar decisões sequenciais sem supervisão humana constante, a questão de como garantir que eles permaneçam dentro dos limites definidos se torna um dos problemas mais urgentes da área.

A Hugging Face informou que estava apurando os possíveis danos a clientes ou parceiros, como vazamento de dados, e comprometeu-se a entrar em contato com as vítimas, caso necessário. A startup disse ter corrigido as vulnerabilidades apontadas após o ataque, além de reconstruir os sistemas afetados.

O CEO da Hugging Face afirmou que era “impressionante que tudo isso tenha acontecido de forma autônoma” e acrescentou: “A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo.”

Matéria produzida pela equipe do Destaque RS.