O GPT-Red é um sistema criado pela OpenAI para encontrar vulnerabilidades em modelos e agentes de inteligência artificial antes que eles cheguem aos usuários. Em vez de depender apenas de especialistas humanos, a ferramenta automatiza testes adversariais e produz ataques que ajudam a treinar modelos mais resistentes.
A OpenAI desenvolveu o sistema principalmente para identificar ataques de prompt injection. Nesse tipo de ameaça, uma instrução maliciosa escondida em um e-mail, site, arquivo ou resposta de ferramenta tenta convencer a IA a ignorar a solicitação original e executar outra ação.
Segundo a empresa, o GPT-Red permanece restrito ao ambiente interno. A OpenAI não pretende disponibilizá-lo como um modelo público, pois o treinamento inclui capacidades criadas especificamente para atacar outros sistemas de IA.
O que é o GPT-Red e por que ele foi criado
O red teaming consiste em testar um sistema de forma adversarial para encontrar falhas antes que criminosos ou usuários mal-intencionados as explorem. Normalmente, especialistas simulam ataques, observam as respostas do modelo e procuram comportamentos que possam gerar vazamento de dados, ações indevidas ou perda de controle.
No entanto, esse trabalho exige tempo e profissionais especializados. Além disso, uma equipe humana dificilmente consegue gerar o volume e a variedade de ataques necessários para acompanhar modelos cada vez mais capazes.
Por isso, a OpenAI criou o GPT-Red como um red teamer automatizado. O sistema envia uma instrução ao modelo testado, analisa a resposta e modifica sua estratégia até alcançar um objetivo adversarial ou esgotar as possibilidades disponíveis.
Essa abordagem permite executar testes em escala e produzir exemplos para o treinamento de novos modelos. Ainda assim, a empresa afirma que continuará combinando o processo automatizado com avaliações humanas, auditorias externas, proteções em camadas e monitoramento em tempo real.
Como o GPT-Red aprende a encontrar vulnerabilidades
A OpenAI treinou o GPT-Red por meio de uma técnica chamada aprendizado por reforço com autojogo, ou self-play. Nesse processo, um modelo assume o papel de atacante, enquanto outros modelos tentam defender o sistema e concluir a tarefa original.
O atacante recebe uma recompensa quando consegue provocar uma falha válida. Por outro lado, os modelos defensores recebem recompensas quando ignoram a instrução maliciosa e atendem corretamente ao usuário.
Assim, os dois lados evoluem juntos. Quando os defensores ficam mais resistentes, o GPT-Red precisa encontrar ataques mais complexos e variados para continuar avançando.
A OpenAI também criou diferentes ambientes de teste. Em um cenário, a instrução maliciosa pode aparecer dentro de um arquivo local. Em outros, ela pode surgir no conteúdo de um site, no corpo de um e-mail ou na resposta fornecida por uma ferramenta conectada.
Esse tipo de teste se torna especialmente importante à medida que agentes de IA ganham acesso a sistemas internos. Quanto mais ferramentas, arquivos e dados um agente consegue utilizar, maiores ficam as consequências de uma instrução maliciosa bem-sucedida.
O que é um ataque de prompt injection
Um ataque de prompt injection ocorre quando um conteúdo externo tenta alterar as instruções que orientam o modelo. Em vez de apenas analisar aquele conteúdo, a IA pode interpretar o texto malicioso como uma ordem legítima.
Imagine, por exemplo, que um agente receba a tarefa de pesquisar informações em documentos corporativos. Durante a busca, ele encontra um arquivo com uma instrução escondida que manda copiar dados confidenciais e enviá-los a um servidor externo.
Caso o modelo não diferencie a solicitação do usuário do conteúdo não confiável, ele pode executar a ação indevida.
O risco não se limita a chatbots. Um agente conectado a navegadores, caixas de e-mail, repositórios de código, sistemas financeiros ou serviços em nuvem pode acessar informações e realizar operações reais.
Por esse motivo, empresas também começam a adotar identidades, permissões e controles específicos para agentes de IA. Dessa forma, uma falha no modelo não oferece automaticamente acesso irrestrito a toda a infraestrutura.
GPT-Red superou participantes humanos em teste específico
A OpenAI comparou o desempenho do GPT-Red com o de participantes humanos em uma versão interna de um ambiente de ataques indiretos por prompt injection.
Nesse experimento, tanto o modelo quanto os humanos precisavam criar ataques contra o GPT-5.1 em cenários que não apareceram durante o treinamento do GPT-Red.
O sistema automatizado encontrou ataques bem-sucedidos em 84% dos cenários. Já os participantes humanos alcançaram sucesso em 13%.
Contudo, esses números não significam que o GPT-Red supera especialistas humanos em qualquer tipo de teste de segurança. O resultado se aplica ao ambiente específico preparado pela OpenAI e à metodologia adotada no experimento.
Ainda assim, a diferença demonstra como modelos automatizados podem ampliar a escala dos testes. Enquanto uma equipe humana precisa elaborar e executar cada tentativa, o sistema consegue testar muitas variações e adaptar rapidamente sua estratégia.
Testes mostraram riscos em agentes com acesso a ferramentas
A OpenAI também colocou o GPT-Red contra sistemas que executavam tarefas no mundo real. Em um dos experimentos, o modelo atacou um agente responsável por administrar uma máquina autônoma de vendas instalada no escritório da empresa.
Primeiramente, o GPT-Red desenvolveu e testou as estratégias em uma simulação. Em seguida, transferiu o ataque para o agente usado no ambiente real.
O sistema conseguiu reduzir o preço de um produto caro para US$ 0,50, encomendar um item que custava mais de US$ 100 para vendê-lo pelo mesmo valor reduzido e cancelar o pedido de outro cliente.
A OpenAI informou que comunicou as vulnerabilidades aos responsáveis pelo sistema e que novas proteções estavam em fase de teste.
Em outro caso, o GPT-Red atacou um agente de programação baseado no Codex CLI. O experimento reuniu dez cenários de exfiltração de dados, nos quais o atacante tentava convencer o agente a transferir informações sensíveis.
Os exemplos mostram que uma falha em um agente pode ultrapassar a geração de respostas incorretas. Dependendo das permissões disponíveis, o sistema pode modificar registros, executar comandos, alterar preços ou expor dados.
Esse cenário acompanha o crescimento dos ataques com IA e das preocupações com a cibersegurança. A mesma capacidade que ajuda empresas a automatizar tarefas também pode acelerar a descoberta e a exploração de vulnerabilidades.
Como o GPT-Red ajudou a treinar o GPT-5.6
A OpenAI incorporou os ataques criados pelo GPT-Red ao treinamento de seus modelos de produção. Dessa maneira, os modelos defensores puderam aprender a reconhecer instruções maliciosas e manter o foco na solicitação original.
Segundo a empresa, o GPT-5.6 Sol apresentou seis vezes menos falhas no teste mais difícil de prompt injection direta quando comparado ao melhor modelo de produção disponível quatro meses antes.
Além disso, uma categoria de ataque chamada pela empresa de “Fake Chain-of-Thought” alcançava taxas de sucesso superiores a 95% contra o GPT-5.1. No GPT-5.6 Sol, o índice ficou abaixo de 10%.
Em outro conjunto de testes, o GPT-5.6 Sol falhou em apenas 0,05% das tentativas diretas produzidas pelo GPT-Red.
No entanto, a OpenAI destaca que um modelo não pode parecer mais seguro apenas porque recusa mais solicitações ou deixa de usar ferramentas. Por isso, a empresa também avaliou as capacidades gerais do GPT-5.6 e procurou verificar se o treinamento havia aumentado as recusas desnecessárias.
De acordo com os resultados divulgados, o modelo manteve suas capacidades enquanto melhorou a resistência aos ataques.
Segurança de agentes não depende apenas do modelo
O treinamento contra prompt injection representa uma camada importante, mas não elimina a necessidade de controles na aplicação.
Uma empresa não deve permitir que um agente acesse todos os sistemas apenas porque o fornecedor afirma que o modelo resiste a instruções maliciosas. Pelo contrário, a integração precisa limitar as ações disponíveis e controlar quais dados cada processo pode consultar.
Entre os cuidados necessários estão a autenticação, o menor nível possível de privilégio, a separação entre ambientes, o registro de atividades e a aprovação humana para ações sensíveis.
A segurança de APIs também ocupa um papel central. Afinal, agentes costumam usar APIs para consultar bancos de dados, atualizar CRMs, enviar mensagens, movimentar arquivos e executar automações.
Consequentemente, uma credencial ampla demais pode transformar uma falha de interpretação em um incidente grave. Limites de requisição, escopos de acesso, validação de entradas e monitoramento ajudam a reduzir esse risco.
GPT-Red aponta para uma nova fase da segurança em IA
O GPT-Red mostra como empresas de inteligência artificial podem usar modelos atuais para testar e melhorar as próximas gerações de sistemas.
Na prática, a abordagem cria um ciclo: o atacante encontra novas falhas, o modelo defensor aprende a bloqueá-las e, depois, o atacante precisa desenvolver estratégias mais avançadas.
No entanto, essa evolução também reforça uma preocupação. Caso sistemas treinados especificamente para atacar modelos se tornem públicos ou caiam nas mãos de criminosos, eles podem acelerar a exploração de agentes pouco protegidos.
Por isso, a OpenAI mantém o GPT-Red separado dos modelos comerciais. A empresa também afirma que pretende ampliar o treinamento automatizado sem abandonar os testes humanos e externos.
Para organizações que adotam agentes de IA, a principal lição permanece clara: a segurança precisa acompanhar todo o fluxo. Isso inclui o modelo, as APIs, as credenciais, os dados, as ferramentas conectadas e as ações que o agente pode executar.
Para criar aplicações conectadas a serviços e dados por meio de APIs, acesse a documentação da APIBrasil e conheça os recursos disponíveis para suas integrações.
