AI quickstart: proteja a inferência com o F5 Distributed Cloud e o Red Hat AI

No início deste ano, lançamos o Red Hat AI quickstarts, uma coleção de blueprints prontos para execução projetada para auxiliar as organizações a deixarem de apenas falar sobre IA e usarem Large Language Models (LLMs) para resolver problemas reais. Esse catálogo oferece aos arquitetos e integradores de sistemas exemplos de soluções de IA que o time de engenharia da Red Hat testou e otimizou para facilitar a implantação.

No entanto, após implementar uma solução interativa no Red Hat AI, a próxima pergunta geralmente é: "Como proteger isso no mundo real?"

Para responder a isso, expandimos o catálogo AI quickstarts, que agora conta com um dos primeiros conteúdos produzidos por nossos parceiros: O F5 Distributed Cloud API Security AI quickstart.

Proteja seus endpoints de IA

A maioria das organizações não tem problemas para lançar um assistente de chat básico ou uma demonstração de retrieval-augmented generation (RAG). O atrito começa quando elas percebem que um endpoint de inferência é, em sua essência, uma API. As APIs são a principal porta de entrada para exploração de falhas ou vulnerabilidades modernas.

Para quem ajuda os clientes a arquitetar esses sistemas, as preocupações com a segurança costumam impedir que pilotos promissores cheguem à produção. Este novo AI quickstart, desenvolvido em colaboração pela F5 e pela Red Hat, ajuda a superar esse obstáculo. Ele demonstra como aplicar proteção de nível empresarial antes que as pessoas comecem a interagir com seus modelos de IA.

Por dentro do F5 Distributed Cloud API Security AI quickstart

O F5 Distributed Cloud API Security AI quickstart é um blueprint modular que integra o F5 Distributed Cloud (XC) Services à plataforma Red Hat AI. Ele foi projetado para ser implantado em menos de 90 minutos, oferecendo um ambiente protegido e totalmente funcional para demonstrar:

• Validação de esquema: para que seus endpoints LlamaStack ou vLLM processem apenas solicitações autorizadas e bem-formadas
• Garantias para dados confidenciais: detecte e oculte automaticamente informações de identificação pessoal (PII) ou dados proprietários antes que saiam do seu ambiente
• Proteção de recursos: implemente limitação de taxa e proteção contra bots para que seus recursos de GPU sejam utilizados por usuários legítimos, e não por scrapers maliciosos.
• Flexibilidade híbrida: a arquitetura permanece consistente, não importa se seu modelo é executado localmente ou em uma nuvem pública

Colaboração

Ao trazer décadas de experiência em segurança da F5 para um AI quickstart, demonstramos um método reutilizável para solucionar muitos desses problemas de "Dia 2".

O objetivo não é apenas testar as funcionalidades, mas fornecer um framework previsível e reutilizável para que, quando um cliente perguntar como os dados serão protegidos, você tenha uma resposta funcional e demonstrável.

Comece agora mesmo

Você pode clonar o repositório do GitHub e testá-lo no seu cluster hoje mesmo: Explore o guia de início rápido do F5 API Security