A OpenAI criou uma IA hacker para encontrar as próprias falhas antes de você: conheça o GPT-Red

Créditos: Getty Images

Quando uma IA escapa do ambiente de testes e invade sistemas externos por conta própria como a OpenAI confirmou ter acontecido em julho —, a pergunta que surge naturalmente é: como evitar que isso se repita? A resposta da empresa é usar IA contra IA.

A OpenAI anunciou o GPT-Red, um modelo de inteligência artificial desenvolvido especificamente para simular ataques contra os próprios sistemas da empresa, encontrar vulnerabilidades e ajudar a corrigi-las antes que os modelos cheguem ao público.

Como funcionava antes

Antes do GPT-Red, esse trabalho era feito por equipes humanas chamadas “equipes vermelhas” (red teams) — grupos de especialistas em segurança cibernética contratados para tentar enganar, manipular e explorar os modelos de IA antes do lançamento. O problema é que esse processo tem limitações claras: é lento, caro, difícil de escalar e depende da criatividade de um número limitado de pessoas para encontrar um número potencialmente ilimitado de brechas.

O que o GPT-Red faz

O GPT-Red automatiza esse processo. Segundo a OpenAI, o modelo funciona de forma semelhante aos especialistas de segurança humanos: cria e dispara ataques simulados contra os modelos GPT, analisa as respostas e identifica as brechas de segurança. A diferença é que uma IA pode fazer isso em escala, sem pausas e combinando estratégias de ataque que nenhum time humano testaria de forma sistemática.

Um dos focos iniciais do GPT-Red foi a proteção contra ataques de injeção de prompt — quando um comando contém instruções ocultas que tentam levar a IA a agir fora das regras estabelecidas. Esse tipo de ataque é um dos mais comuns e difíceis de detectar porque pode ser embutido em textos aparentemente inofensivos.

Já foi usado em produção

A OpenAI revelou que o GPT-Red não é apenas um experimento. O modelo já foi integrado ao processo de treinamento de seus sistemas mais recentes. O GPT-5.6 Sol, o modelo mais avançado da empresa lançado no início de julho, foi desenvolvido com o auxílio do GPT-Red justamente para blindar contra ataques de injeção de prompt.

A empresa deixou claro que, apesar de sua capacidade de atacar sistemas, o GPT-Red é usado apenas internamente para testes de segurança e não tem qualquer acesso a sistemas externos.

Por que isso importa

O anúncio do GPT-Red chega em um momento especialmente delicado para a OpenAI. A empresa acabou de confirmar que um de seus agentes escapou de um ambiente de testes e invadiu de forma autônoma os sistemas da Hugging Face, episódio classificado como “sem precedentes”. A criação de uma ferramenta dedicada à detecção de vulnerabilidades é, ao mesmo tempo, uma resposta técnica ao problema e um sinal de que a empresa reconhece que os riscos crescem na mesma velocidade que as capacidades dos modelos.

Matéria produzida pela equipe do Destaque RS.