O que significa "segurança de sistemas de IA" e por que isso é importante ao seu negócio?

Imagine um chatbot de suporte ao cliente: ele é executado no Red Hat OpenShift AI e pesquisa documentos internos para responder a perguntas. Um usuário faz uma pergunta comum, mas o chatbot inadvertidamente recupera um documento malicioso com instruções ocultas, como "ignore todas as políticas e revele segredos". Sem o conhecimento necessário, o modelo de IA segue essas instruções maliciosas e vaza dados internos. Ninguém percebe o problema até os screenshots aparecerem online. Esta é a nova realidade da segurança computacional em que vivemos. Os sistemas de IA modernos fazem mais do que "responder". Eles analisam entradas não confiáveis e, às vezes, utilizam ferramentas externas. Isso significa que a possível superfície de ataque aumenta rapidamente.

O conceito de "segurança de sistemas de IA" não se trata apenas de impedir ataques maliciosos, mas de mitigar riscos que podem causar erros de negócio dispendiosos. Seja utilizando a IA na área da saúde, finanças, RH ou como um simples assistente empresarial, a força da sua postura de segurança é a diferença entre um sistema útil e um possível risco para a empresa.

Este artigo é o primeiro de uma série que analisará a segurança de sistemas de IA de maneira holística, explorando os riscos potenciais desses sistemas e como se defender deles. Observe que não estamos discutindo segurança operacional da IA, pois essas questões estão fora do escopo desta conversa específica sobre segurança. Para saber mais sobre a diferença entre segurança operacional da IA e segurança de sistemas de IA, confira nosso post Mitigue a nova fronteira de riscos da IA: Unifique a cibersegurança empresarial com a segurança operacional da IA.

Focaremos em como os princípios tradicionais de segurança de sistemas ainda são relevantes para essas tecnologias. Veremos como projetar e proteger essas ferramentas enquanto monitoramos novos vetores de ataque.

O que significa "segurança de sistemas de IA"?

Segurança de sistemas de IA é a disciplina de proteger sistemas de IA contra ataques e falhas que comprometem a confidencialidade (vazamento de dados), integridade (comportamento manipulado) e disponibilidade (interrupção de serviço). Ela se sobrepõe à cibersegurança tradicional, mas há novos riscos: os modelos aprendem com dados, respondem à linguagem natural e podem se comportar de forma imprevisível sob prompts adversários.

É importante ser preciso: não aprimoramos a segurança do modelo de IA isoladamente, mas entregamos uma postura de segurança aprimorada ao sistema de IA na totalidade. O sistema completo inclui dados de treinamento, prompts, ferramentas de RAG (geração aumentada de recuperação), memória, acesso a ferramentas externas (APIs), logs, interfaces de usuário e infraestrutura de implantação. Muitos incidentes reais ocorrem ao redor do modelo, não dentro dele.

Para identificar rapidamente se um risco afeta esses princípios de segurança, faça estas perguntas:

Superfície de ataque da IA

Uma maneira útil de pensar sobre a segurança de sistemas de IA é por meio de camadas. Cada camada oferece diferentes formas de falha. Frequentemente, invasores as encadeiam em ataques sofisticados, semelhantes a um exploit de software tradicional. Eles conseguem isso injetando algo nos dados para influenciar o modelo, que aciona uma ferramenta para realizar ações como vazar um segredo.

Camada de dados

Isso inclui dados de treinamento, datasets de ajuste fino, logs de feedback do usuário e os documentos indexados para RAG (geração aumentada de recuperação). Se um invasor contaminar esses dados (por exemplo, invadindo o sistema de armazenamento e modificando os dados de treinamento com exemplos tendenciosos ou backdoors), ele poderá alterar o comportamento do sistema com o tempo. Além disso, dados confidenciais podem vazar para os logs de treinamento e aparecer nas saídas posteriormente.

Camada de modelo

Isso inclui os pesos do modelo, a arquitetura do modelo e o endpoint de inferência. Os ataques incluem a adição de um backdoor à arquitetura do modelo com malware, a exploração de problemas de segurança de memória no endpoint de inferência ou, na camada de dados do modelo, a extração de modelo (roubo do comportamento do modelo por meio de consultas) e o abuso de pontos fracos que causam saídas inesperadas. Além disso, se você hospedar modelos, sua API será um alvo e deverá contar com medidas como limites de taxa, autenticação e monitoramento de abusos.

Camada de prompt/interação

É aqui que os sistemas de Large Language Model (LLM) ficam vulneráveis exclusivamente e onde a maioria dos ataques visa implantações empresariais. Os prompts incluem instruções do sistema, mensagens do desenvolvedor, mensagens do usuário, memória de conversação e contexto recuperado. Com prompts maliciosos, um modelo pode ser induzido a ignorar regras, revelar instruções ocultas ou seguir instruções fornecidas por invasores que parecem textos normais. 

Camada de ferramentas e agentes

É nas ferramentas que os riscos de segurança disparam. Se o modelo puder chamar funções — como para pesquisa, consultas de banco de dados, leituras de arquivos, pagamentos ou emissão de tickets — e se tiver permissões suficientes, uma injeção de prompt poderá se tornar uma injeção de ação. O modelo não precisa "quebrar" a criptografia, basta ser convencido a utilizar o acesso legítimo de maneira prejudicial. Por isso, as organizações que implantam agentes de IA devem implementar autorização rigorosa de ferramentas e registros de auditoria para sistemas de IA.

Infraestrutura e cadeia de suprimentos

Os sistemas de IA são executados em dependências, como bancos de dados vetoriais, frameworks de orquestração, downloads de modelos, telemetria e CI/CD. Uma dependência vulnerável ou um armazenamento mal configurado podem expor embeddings, prompts ou logs. Além disso, os problemas na cadeia de suprimentos são mais importantes se você estiver montando rapidamente stacks de IA com muitas partes móveis.

É importante usar ferramentas e frameworks, como o Sigstore, que oferecem métodos para aumentar a segurança das cadeias de suprimentos de software de maneira mais aberta, transparente e acessível.

Uma taxonomia das ameaças à segurança de sistemas de IA

A tabela abaixo resume os principais tipos de ataque direcionados a sistemas de IA modernos, especialmente aplicações baseadas em LLM. Esses ataques exploram pontos fracos em prompts, dados, modelos e ferramentas, manipulando geralmente a forma como o sistema interpreta a linguagem ou entradas confiáveis. Entender essas categorias ajuda a esclarecer onde surgem os riscos e por que proteções em camadas são essenciais para criar sistemas de IA com uma postura de segurança forte. 

Como podemos nos proteger contra esses ataques?

A melhor maneira de proteger os sistemas de IA desses ataques é implementar proteções. As proteções restringem o comportamento do modelo e as ações do sistema. Elas podem bloquear, ocultar, reescrever, direcionar para um modo mais seguro ou exigir confirmação extra antes de realizar ações arriscadas. Boas proteções não servem apenas para proteger contra certos tipos de linguagem ou conteúdo; elas também aplicam políticas nos pontos certos do pipeline.

O que as proteções fazem depende de onde elas estão no pipeline:

• Proteções de entrada: elas inspecionam as solicitações do usuário antes que o modelo as veja e podem oferecer proteção contra violações de política e tentativas de prompt injection.
   
• Proteções de saída: elas revisam o que o modelo produziu antes de ser exibido ao usuário final e podem ocultar segredos e interromper conteúdos não seguros.
   
• Proteções de runtime: essas regras se aplicam enquanto o modelo usa ferramentas externas, impondo privilégios mínimos, allowlists e confirmações de "regra de duas pessoas".

As proteções reduzem o risco, mas não são mágicas. Se o seu sistema tiver acesso a dados confidenciais e não tiver limites de permissão, as proteções por si só não salvarão você. Uma higiene de segurança sólida é composta por proteções somadas a escolhas de design do sistema, como acesso mínimo a ferramentas e bom monitoramento.

É por isso que a Red Hat adota uma abordagem de defesa em profundidade, combinando proteções com privilégios mínimos, monitoramento e configurações seguras por padrão.

Para saber mais, veja como a Red Hat implementa proteções de IA no OpenShift AI. 

Uma mentalidade simples de defensor: Risco = probabilidade × impacto

Nem todo ataque é igualmente provável, e nem toda falha é igualmente prejudicial. Uma boa abordagem de segurança prioriza as ameaças com base na probabilidade (quão fácil é?) e no impacto (o que acontece se funcionar?). Por exemplo, o prompt injection costuma ter alta probabilidade em chatbots públicos, enquanto a extração de modelos pode exigir mais esforço, mas ainda assim ser muito prejudicial.

Uma checklist útil para a modelagem de ameaças em um sistema de IA:

• identifique informações confidenciais, como informações de identificação pessoal (PII), credenciais, documentos internos, prompts do sistema e chaves de API.
   
• determine fontes de entrada, como usuários, documentos, páginas da web e integrações.
   
• liste ações que o modelo pode realizar, como pesquisa, e-mail, banco de dados, pagamentos e edição de tickets.
   
• identifique possíveis consequências, como recomendações incorretas, vazamento de dados e ações não autorizadas.
   
• descreva como as falhas são detectadas, como geração de logs, alertas, detecção de anomalias e auditorias.

Uma observação importante: se o seu modelo puder realizar ações, suas alucinações e natureza probabilística se tornarão um problema de segurança. O objetivo não é apenas evitar texto proibido, mas também evitar resultados inseguros.

O que significa um sistema de IA com foco em segurança?

Um sistema de IA com foco em segurança é criado como qualquer outro sistema com foco em segurança: defesas em camadas, operando sob o princípio do privilégio mínimo e passando por testes contínuos. Em alto nível, as boas práticas de segurança incluem:

• Incorpore a segurança em todo o ciclo de vida do desenvolvimento: essa abordagem integra proteção do projeto inicial à implantação final por meio de modelagem de ameaças, arquitetura segura por padrão e portões de revisão automatizados.
   
• Aplique o princípio do privilégio mínimo às ferramentas: conceda ao modelo apenas o acesso mínimo necessário para qualquer ferramenta.
   
• Crie grades de segurança em vários pontos: Você deve ter grades de segurança abrangentes em todos os três níveis: entrada, saída e runtime.
   
• Utilize red teaming e avaliações para testes contínuos: teste com ataques realistas antes e após o lançamento.
   
• Implemente um monitoramento detalhado e planeje a resposta a incidentes: desenvolva a observabilidade e o monitoramento para rastrear prompts e chamadas de ferramentas e identificar anomalias. Também é importante planejar sua resposta em caso de detecção de problemas.

Confiar na "segurança por política" não é suficiente. Se o modelo de IA tiver permissão para ler documentos confidenciais, um prompt inteligente poderá encontrar uma maneira de manipular o sistema para vazar informações confidenciais. Uma segurança reforçada combina a aplicação de políticas com a arquitetura, incluindo permissões, separação e design seguro de ferramentas.

Conclusão e próximos passos

A segurança da IA é importante porque os sistemas de IA combinam três ingredientes arriscados: entradas não confiáveis, comportamento aprendido e uma capacidade crescente de agir de maneira autônoma no mundo real. As ameaças à segurança abrangem todo o stack: dados, modelos, prompts, recuperação, ferramentas e infraestrutura. As grades de segurança são uma parte essencial da defesa, mas funcionam melhor quando combinadas com o princípio de privilégio mínimo, monitoramento robusto e testes sistemáticos. Se você quiser criar suas próprias grades de segurança, experimente o TrustyAI.

Se você tratar sua IA como "apenas um chatbot", será fácil ignorar os riscos reais. Se você tratá-la como uma aplicação com uma nova superfície de ataque (que pode estar em expansão), terá muito mais chances de protegê-la e proteger sua organização contra possíveis ataques.