Os reguladores não perguntam aos bancos se seus portfólios estão em boas condições. Eles exigem comprovação documentada de como se comportam sob condições adversas: choques de taxas, crises de liquidez e quebras de mercado. A mesma lógica se aplica aos modelos de IA destinados à produção. Antes de levarem seu nome, você precisa saber como eles se comportam sob pressão.

O que um cartão de modelo revela — e o que ele não revela

Um cartão de modelo padrão revela o que os desenvolvedores de um modelo decidiram compartilhar: fontes de dados de treinamento, pontuações de benchmark, métricas de precisão em conjuntos de testes selecionados, etc. Essas informações são úteis, mas os cartões de modelo não demonstram como o modelo se comportará quando alguém tentar comprometê-lo.

Mais importante ainda, os cartões de modelo não respondem às perguntas mais relevantes em ambientes regulamentados: o modelo vaza informações de identificação pessoal (PII) quando solicitado de determinada maneira? Ele pode ser redirecionado por um usuário que elabore sua entrada cuidadosamente? Ele produz resultados prejudiciais sob pressão adversária?

Não há uma categoria de benchmark para comportamento sob condições adversas. Esse é um tipo diferente de avaliação e, em setores regulamentados, é ela que determina se uma implantação é defensável.

Passar em benchmarks não é o mesmo que ser aprovado em um teste adversário

Nenhum medicamento chega aos pacientes com base apenas em dados de eficácia. Os reguladores exigem uma avaliação de segurança separada, projetada especificamente para revelar o que os testes de eficácia não buscavam. A mesma distinção se aplica aos modelos de IA: as pontuações de benchmark medem a precisão sob condições padrão, enquanto a validação de segurança testa o comportamento sob condições adversas. Eles medem aspectos diferentes, e apenas um mostra o que acontece quando alguém tenta fazer o sistema falhar.

A validação de segurança testa o que acontece quando um usuário cria uma entrada com a intenção específica de levar o modelo a fazer algo que não deveria. Um prompt pode fazer com que o modelo revele informações da sessão de outro usuário? A mesma solicitação prejudicial pode passar quando reformulada ou traduzida? Uma sequência de entradas aparentemente inocentes pode ser encadeada para gerar algo prejudicial?

Esses não são casos extremos hipotéticos. São esses tipos de falha que geram incidentes de conformidade, notificações de violação de dados e exposição regulatória para organizações em setores fortemente regulamentados, como serviços financeiros, saúde e setor público.

Em ambientes regulamentados, "parecia seguro" não é uma trilha de auditoria

Os frameworks de conformidade exigem cada vez mais evidências documentadas de como os sistemas de IA se comportam sob condições adversas, não apenas métricas de desempenho em benchmarks padrão.

Em um contexto regulamentado, "pronto para produção" deve significar que um modelo foi testado em condições que simulam como usuários e invasores reais interagem com ele, com resultados anexados ao modelo como um registro verificável. Há três categorias de testes que pertencem a esse registro antes da implantação, incluindo resultados de red teaming, pontuações de exposição a PII e saídas de avaliação de toxicidade. Por si só, as pontuações de precisão do modelo não são suficientes.

Uma implantação de IA sem um perfil de risco documentado é uma exposição ao risco disfarçada de ganho de eficiência.

Comece hoje mesmo

As ferramentas para desenvolver esse tipo de perfil de risco — red teaming automatizado, verificação de exposição a PII e avaliação de toxicidade — existem hoje no open source. Para equipes prontas para implementar, leia o artigo Automatize o red teaming de IA: Identificação e mitigação de riscos em large language models. O material aborda pipelines automatizados de red teaming, estratégias progressivas de ataque e como implementar proteções em runtime sobre os testes pré-implantação.

Recurso

Por onde começar com a inferência de IA: os experts do Red Hat AI explicam

Descubra como desenvolver sistemas de inferência de IA mais inteligentes e eficientes. Aprenda sobre quantização, esparsidade e técnicas avançadas, como vLLM, com o Red Hat AI.

Sobre os autores

Grace Ableidinger is an AI Engineer and Developer Advocate at Red Hat based in Raleigh, NC. She is passionate about inference optimization, through open-source projects, like vLLM and llm-d, and finding the intersection of AI with high-impact industries. She is dedicated to building communities and resources that empower people to use AI to build a better world.

Sawyer Bowerman is an AI Developer Advocate on Red Hat’s AI team based in Boston, MA. He specializes in high-performance model serving and inference, focusing on scaling open source ecosystems like vLLM and llm-d to make large language models more efficient and accessible for developers. He is dedicated to bridging the gap between raw model performance and real-world developer productivity through open-source innovation.

Anika Aracan is an AI Developer Advocate on Red Hat’s AI team. With a focus on open source AI security and sovereign AI, she creates technical content that makes complex topics accessible and engaging, and is passionate about helping others understand how AI works and how it can be used to make the world better. In her free time, she loves to crochet, especially ducks and geese. She is based in Boston.

UI_Icon-Red_Hat-Close-A-Black-RGB

Navegue por canal

automation icon

Automação

Últimas novidades em automação de TI para empresas de tecnologia, equipes e ambientes

AI icon

Inteligência artificial

Descubra as atualizações nas plataformas que proporcionam aos clientes executar suas cargas de trabalho de IA em qualquer ambiente

open hybrid cloud icon

Nuvem híbrida aberta

Veja como construímos um futuro mais flexível com a nuvem híbrida

security icon

Segurança

Veja as últimas novidades sobre como reduzimos riscos em ambientes e tecnologias

edge icon

Edge computing

Saiba quais são as atualizações nas plataformas que simplificam as operações na borda

Infrastructure icon

Infraestrutura

Saiba o que há de mais recente na plataforma Linux empresarial líder mundial

application development icon

Aplicações

Conheça nossas soluções desenvolvidas para ajudar você a superar os desafios mais complexos de aplicações

Virtualization icon

Virtualização

O futuro da virtualização empresarial para suas cargas de trabalho on-premise ou na nuvem