AI 퀵스타트: F5 Distributed Cloud와 Red Hat AI를 활용한 추론 보호

올해 초 Red Hat은 조직이 AI에 대한 논의를 넘어 실제 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용하도록 지원하는 즉시 실행 가능한 청사진 컬렉션인 Red Hat AI 퀵스타트 카탈로그를 출시했습니다. 이 카탈로그는 시스템 통합업체와 아키텍트에게 Red Hat 엔지니어링팀이 테스트하고 간소화하여 쉽게 배포할 수 있는 AI 솔루션 사례를 제공합니다.

하지만 Red Hat AI 기반의 대화형 솔루션을 성공적으로 구축하고 나면, 대개 그다음으로 이런 질문이 뒤따릅니다. "이 시스템을 실제 환경에서 어떻게 보호해야 할까?"

이에 대한 해답을 제시하고자, Red Hat은 파트너 주도의 첫 번째 사례 중 하나인 F5 Distributed Cloud API Security AI 퀵스타트를 추가하여 카탈로그를 확장했습니다.

AI 엔드포인트 보호

대부분의 조직은 기본적인 채팅 어시스턴트나 검색 증강 생성(RAG) 데모를 가동하는 데 어려움을 겪지 않습니다. 문제는 추론 엔드포인트가 본질적으로 API라는 사실을 깨닫는 시점부터 시작됩니다. API는 현대적인 공격(exploits)의 주요 표적입니다.

고객의 시스템 설계를 지원하는 입장에서 볼 때, 보안 문제는 유망한 파일럿 프로젝트가 실제 프로덕션 단계로 넘어가지 못하게 가로막는 주요 원인이 되곤 합니다. F5와 Red Hat이 공동으로 개발한 이 새로운 AI 퀵스타트는 이러한 장애물을 극복하도록 지원합니다. 이 가이드는 사용자가 AI 모델과 상호 작용하기 전에 엔터프라이즈급 보호 기능을 적용하는 방법을 보여줍니다.

F5 Distributed Cloud API Security AI 퀵스타트 상세 보기

F5 Distributed Cloud API Security AI 퀵스타트는 F5 Distributed Cloud(XC) 서비스와 Red Hat AI 플랫폼을 통합하는 모듈식 청사진입니다. 90분 이내에 배포할 수 있도록 설계되었으며, 다음과 같은 기능을 입증할 수 있는 완전하게 작동하고 보호된 환경을 제공합니다.

• 스키마 유효성 검사: LlamaStack 또는 vLLM 엔드포인트가 올바른 형식의 승인된 요청만 처리하도록 보장합니다.
• 민감한 데이터 가드레일: 개인 식별 정보(PII) 또는 독점 데이터가 환경 외부로 유출되기 전에 자동으로 감지하고 수정합니다.
• 리소스 보호: 속도 제한 및 봇 방어를 구현하여 악의적인 스크레이퍼가 아닌 실제 사용자가 GPU 자원을 사용하도록 보장합니다.
• 하이브리드 유연성: 모델이 온프레미스 또는 퍼블릭 클라우드 중 어디에서 실행되든 일관된 아키텍처를 유지합니다.

구축 협업

Red Hat은 수십 년간 축적된 F5의 보안 전문 지식을 AI 퀵스타트에 접목함으로써, 수많은 'Day 2' 문제를 해결할 수 있는 재사용 가능한 방법을 제시하고 있습니다.

이 가이드의 목표는 단순히 기능을 시연하는 것이 아니라, 예측 가능하고 재사용 가능한 프레임워크를 제공하여 데이터 보호 방법에 대한 고객의 질문에 실질적이고 입증 가능한 답변을 제시하는 것입니다.

시작하기

지금 바로 GitHub에서 리포지토리를 복제하여 클러스터에서 테스트해 볼 수 있습니다. F5 API Security 퀵스타트에 대해 더 알아보세요.