추론에서 에이전트까지: Red Hat AI 3.4를 통해 기업의 AI 확장

엔터프라이즈 AI는 단순한 챗봇에서 에이전틱 AI로 전환하고 있습니다. 이러한 시스템은 독립적인 추론과 다단계 계획을 사용하여 복잡한 태스크를 자율적으로 완료합니다. 이러한 AI 지원 애플리케이션을 구축하려면 AI 엔지니어와 에이전트 개발자가 고성능 워크로드로 실행되는 신뢰할 수 있는 API 엔드포인트를 통해 모델에 즉시 액세스할 수 있어야 합니다. 

자율 에이전트는 설계상 리소스를 많이 사용합니다. 이러한 에이전트는 대규모 환경에서 연중무휴로 운영되며, 단일 태스크를 해결하기 위해 인프라에 수십 번 액세스할 수 있습니다. 이는 지속적인 부하를 유발하고 컴퓨팅 수요를 급증시킵니다. 전용 기반이 없으면 성능이 저하되고 비용이 증가하며, 민감한 엔터프라이즈 데이터의 보안 및 거버넌스 요구 사항과 결합될 때 이러한 압박은 프로덕션 환경의 심각한 장애 요인이 됩니다.

Red Hat AI는 AI 솔루션 배포를 간소화하는 통합된 메탈-투-에이전트(metal-to-agent) 플랫폼을 제공하여 이러한 과제를 해결하도록 지원합니다. Red Hat은 빌더와 오퍼레이터 모두에게 일관된 프레임워크를 제공함으로써 조직이 토큰 소비자에서 토큰 제공업체로 전환할 수 있도록 지원합니다. 이러한 전환을 통해 기업은 자율 시스템을 확장하는 동시에 AI 실험을 프로덕션 레디 자산으로 전환하는 데 필요한 하드웨어 효율성과 컴퓨팅 비용 제어 기능을 유지할 수 있습니다.

정적 서빙에서 정밀 오케스트레이션까지: 추론 비용 절감

모든 AI 지원 애플리케이션의 기반은 추론 엔진입니다. 효과적인 에이전트를 구축하려면 개발자는 단계적 추론 (Chain of Thought, CoT)을 지원할 수 있는 낮은 대기 시간과 높은 처리량이 필요합니다. Red Hat AI 3.4는 경제적 지속 가능성을 유지하면서 이러한 성능을 제공하는 툴을 도입했습니다.

• 엔터프라이즈용 서비스 방식 모델(MaaS): 이번 신규 릴리스에서 MaaS는 플랫폼 엔지니어에게 역할 기반 관리 [GA], 사용량 추적 및 쇼백(showback) [기술 프리뷰, TP]을 위한 셀프 서비스 토큰 키 관리를 지원하고, 셀프 호스팅[GA] 및 클라우드 기반 모델 [TP]을 사용하는 동안 보안 표준을 적용할 수 있는 사용자 인터페이스 [일반 가용성, GA]를 제공합니다.
• llm-d를 사용한 분산 추론: 이번 릴리스에서는 분산 추론을 더 쉽게 운영하고 대규모 환경에서 더 비용 효율적으로 실행할 수 있습니다. 사용자 인터페이스(UI)를 통해 모델을 배포하는 사용자는 이제 해당 네임스페이스에서 사용 가능한 게이트웨이를 검색하고 배포에 사용할 게이트웨이를 하나 이상 선택할 수 있습니다. 이를 통해 단일 클러스터 전체 기본값 [TP]에 대한 종속성이 제거됩니다. 내장된 YAML 편집기를 사용하여 기본 리소스를 검사하고 편집할 수 있습니다 [TP]. 요청 우선순위 지정[TP] 기능을 통해 llm-d는 동일한 엔드포인트에서 인터랙티브 트래픽과 백그라운드 트래픽을 구분합니다. 이를 통해 대기 시간에 민감한 요청을 먼저 처리하고 시스템 포화 시 우선순위가 낮은 작업을 배제합니다. 자동 스케일링[TP]은 활성 요청 수, 대기열 깊이, GPU 사용률에 따라 복제본을 자동으로 조정합니다. OpenAI 호환 배치 추론 [개발자 프리뷰, DP]은 문서 분류나 로그 분석과 같은 대용량 워크로드를 위해 영구적인 실행 후 종료(fire-and-forget) 경로를 추가합니다.
• 성능 향상을 위한 예측 디코딩 [GA]: Red Hat AI 플랫폼은 이제 예측 디코딩 지원이 포함된 vLLM 추론 서버를 통합합니다. 매우 효율적인 초안 모델을 사용하여 처리를 가속화하는 이 기술은 품질 저하 없이 응답 속도를 2~3배 높여 상호 작용당 비용을 직접적으로 낮춥니다.
• GPU, CPU, NPU 전반의 하드웨어 유연성: Red Hat AI 3.4는 AMD Instinct MI355X GPU 지원, AMD Instinct MI350P PCIe 프리뷰 지원, AMD EPYC 프로세서 기반 vLLM CPU 서빙[GA] 등 GPU와 CPU 전반에 걸친 새로운 AMD 지원을 통해 엔터프라이즈 추론을 위한 가속기 선택의 폭을 넓힙니다. 이 릴리스에는 Intel Xeon 프로세서에서 vLLM CPU 서빙의 정식 버전(GA)과 ATOM NPU용으로 인증된 Rebellions 컨테이너가 포함되어 있습니다. 이를 통해 조직은 각 워크로드를 적합한 컴퓨팅 티어에 배치할 수 있는 유연성을 확보할 수 있습니다. 고성능 추론 워크로드를 위한 GPU, 경량화된 상시 추론을 위한 CPU, 전력 효율적인 고처리량 서빙을 위한 NPU를 지원합니다. 이러한 기능은 상호작용당 비용을 절감하고 인프라 활용도를 개선하며, 이기종 가속기 환경 전반에서 일관된 Red Hat AI 경험을 제공합니다.

vLLM에 대한 엔터프라이즈 지원과 Red Hat의 검증 및 최적화된 모델에 대한 액세스를 제공하는 Red Hat AI Inference는 이제 Red Hat OpenShift 그리고 타사 쿠버네티스 배포판[TP]에서 llm-d를 통한 분산 추론 기능을 추가합니다. 초기 릴리스에는 CoreWeave 및 Azure의 관리형 쿠버네티스 서비스 지원이 포함됩니다. 이제 조직은 각 공급업체에 맞게 아키텍처를 재설계할 필요 없이 여러 환경에서 동일한 추론 스택을 실행할 수 있습니다. 이는 하드웨어나 클라우드 공급업체에 관계없이 AI 운영을 일관되게 유지하고 동일한 고성능 오픈 파운데이션을 사용함을 의미합니다.

평가 기반 개발을 통한 모델 무결성 검증

모델의 효과는 해당 모델의 기반이 되는 데이터에 따라 결정됩니다. Red Hat AI 3.4는 평가 기반 개발(EDD)에 중점을 두어, 주관적인 테스트를 구체적인 데이터와 벤치마크로 대체함으로써 모델과 에이전트가 프로덕션 환경에 완전히 준비되었는지 확인합니다.

• MLflow를 사용한 실험 추적[GA]: MLflow 통합은 메트릭, 파라미터, 아티팩트를 자동으로 기록하는 백본 역할을 하여 재현성을 지원하고 예측 및 생성형 AI 워크로드 전반에서 결과를 쉽게 비교할 수 있게 합니다. 여기에는 프롬프트를 버전 관리 및 거버넌스가 적용되는 기업 자산으로 취급하는 프롬프트 관리가 포함됩니다.
• 자동화된 경험[TP]: AutoRAG 및 AutoML과 같은 툴은 복잡한 AI 태스크를 자동화하여 비용이 많이 드는 추측과 수동 시행착오를 줄여 줍니다. AutoRAG는 검색 증강 생성(RAG)을 위한 임베딩 모델 및 청킹(chunking) 전략 선택을 자동화하여 팀이 원시 데이터에서 고성능 파이프라인을 훨씬 더 빠르게 구축하도록 지원합니다. 마찬가지로 AutoML은 예측 분석을 위한 피처 엔지니어링과 모델 선택을 처리하므로 개발자는 데이터 준비가 아닌 비즈니스 성과에 집중할 수 있습니다.
• 평가 허브[TP]: Red Hat AI 3.4는 대규모 언어 모델(LLM), AI 애플리케이션, 에이전트를 평가하기 위해 프레임워크에 구애받지 않는 통합 AI 평가 컨트롤 플레인인 평가 허브를 도입했습니다. 이 허브는 통합 REST API와 쿠버네티스 컨트롤러를 사용하여 단편화된 테스트 방식을 대체하며, 엄선된 맞춤형 평가 컬렉션, MLflow가 포함된 대시보드, 커맨드라인 인터페이스(CLI) 및 소프트웨어 개발 키트(SDK) 액세스를 제공합니다. 거버넌스를 위한 OCI(Open Container Initiative) 모델 카드와 에이전트가 검색 가능한 평가를 위한 MCP(Model Context Protocol) 서버를 활용하여, 실무자가 노트북에서 프로덕션 파이프라인까지 재현 가능한 벤치마킹을 확장할 수 있는 클러스터 네이티브 환경을 제공합니다. 

에이전틱 AI 기업의 리스크 제거: 성숙도 및 추적성

자율 에이전트가 규정된 운영 경계 내에 머무르려면 높은 수준의 가시성, 추적성, 툴에 대한 제어된 액세스가 필요합니다. Red Hat AI는 이러한 시스템을 관찰하고 보호할 수 있도록 AgentOps 프레임워크를 제공합니다.

• 거버넌스가 적용된 프롬프트 관리[TP]: MLflow 통합은 생성형 AI 스튜디오 플레이그라운드 내에서 새로운 프롬프트 관리 기능을 강화합니다. 이 플레이그라운드는 개발자가 여러 툴을 오가지 않고도 프롬프트 프로토타입을 제작하고 모델을 비교하며 보안을 확인할 수 있는 중앙 집중식 환경입니다. 이를 통해 개발자는 에이전트 프롬프트를 거버넌스 자산으로서 버전을 관리하고 테스트하며 개선할 수 있습니다. 프롬프트를 코드로 관리하면 조직은 일관성을 유지하면서 가치 창출을 가속화할 수 있습니다.
• ID 관리 [DP]: Red Hat AI는 하드코딩된 키를 제거하기 위해 단기 토큰을 사용하여 암호화 에이전트 ID에 SPIFFE/SPIRE를 구현합니다. 이 서비스는 제로 트러스트 보안을 지원하며 에이전트가 프로덕션 환경에서 최소 권한 원칙에 따라 작동하도록 합니다.
• Kagenti를 통한 라이프사이클 관리 [DP]: 진화하는 에이전틱 자산을 관리하는 기업을 위해 이 플랫폼은 팀이 기본 코드를 변경하지 않고도 에이전트를 배포, 확장 및 제어할 수 있는 라이프사이클 관리 툴인 Kagenti를 도입합니다. Kagenti는 라이프사이클 전반에서 에이전트를 검색하고 온보딩할 수 있도록 지원하여 개발 단계에서 프로덕션으로의 전환을 돕습니다.
• MLflow를 통한 에이전트 추적 [GA]: MLflow는 엔드 투 엔드 에이전트 추적 기능을 제공합니다. 시스템은 모든 LLM 호출, 모든 툴 실행 그리고 모든 의사 결정 단계를 추적합니다. 이는 자율 시스템을 디버깅, 감사 및 평가하기 위한 기본 요구 사항입니다.
• 엔터프라이즈 MCP 관리 [DP/TP]: Red Hat AI는 MCP 기반 툴 액세스를 제어하기 위한 플랫폼 접근 방식을 도입합니다. 팀은 MCP 카탈로그 [DP]를 통해 Red Hat과 기술 파트너가 제공하는 신뢰할 수 있는 MCP 서버를 검색하고 배포할 수 있습니다. MCP 라이프사이클 오퍼레이터[DP]는 이를 쿠버네티스 네이티브 워크로드로 관리합니다. MCP 게이트웨이[TP]는 중앙화된 인증, 툴 수준의 액세스 제어 그리고 관측성을 제공하므로 에이전트는 승인된 툴에만 액세스할 수 있습니다.

기반 확장: 안전성과 관측성

AI가 지속 가능하려면 안정적이고 투명한 기반 위에서 실행되어야 합니다. Red Hat AI 3.4는 MLOps, 생성형 AI(GenAI) Ops 그리고 AgentOps를 단일 플랫폼으로 통합하는 포괄적인 운영 허브 역할을 합니다.

• 프롬프트 랩 및 레지스트리를 통한 통합 작성 [GA]: 이 플랫폼은 프롬프트를 빌드하고 관리하기 위한 통합 툴을 제공하므로 에이전틱 동작을 구동하는 로직이 중앙 레지스트리에 저장되어 개발자와 관리자 모두에게 단일 정보 소스를 제공합니다.
• AI 안전 및 레드 티밍 [TP]: Red Hat AI 3.4는 자동화된 적대적 스캔을 개발 라이프사이클에 직접 통합합니다. 이 플랫폼은 Chatterbox Labs 인수를 통해 확보한 기술을 활용하며, Garak을 사용하여 모델과 에이전틱 시스템의 탈옥, 프롬프트 인젝션 그리고 편향과 같은 위험을 검사합니다. 이 기능은 고급 위험 분석을 제공하여 런타임이 아닌 개발 단계에서 모델 로직의 보안 결함을 포착합니다. 취약점을 조기에 식별하고 완화함으로써 팀은 AI 애플리케이션의 무결성을 평가하여 프로덕션 배포로 더 안전하게 전환할 수 있습니다.
• 중앙 집중식 메트릭 및 관측성 [TP]: 이 릴리스는 네이티브 기반 대시보드와 함께 구성이 필요 없는 통합 Prometheus 인스턴스를 제공합니다. 클러스터 관리자는 단일 콘솔에서 하드웨어 활용도와 MaaS 메트릭 [TP]을 모니터링할 수 있습니다. 또한 이 기능은 콘솔에서 직접 에이전트의 단계별 실행 추적, 추론 체인, 툴 호출 그리고 LLM 상호작용을 확인할 수 있도록 지원합니다 [DP]. 이 플랫폼은 이러한 메트릭을 기존의 제3사 관측성 싱크로 유연하게 라우팅할 수 있는 기능을 제공합니다.

클라우드 마켓플레이스 기반 Red Hat AI

Red Hat AI Enterprise는 곧 AWS Marketplace, Microsoft Azure Marketplace, Google Cloud Marketplace를 통해 직접 구매할 수 있습니다. 이를 통해 엔터프라이즈 조직은 선호하는 클라우드에 AI 인프라를 더 빠르고 유연하게 배포할 수 있습니다. 이제 조직은 기존 EDP(Enterprise Discount Program)와 약정 클라우드 비용을 Red Hat AI 서브스크립션에 적용할 수 있어 재무 및 조달 프로세스가 간소화됩니다.

이번 가용성 확대는 기존 Red Hat AI 클라우드 옵션이 확장되었음을 의미합니다. Red Hat은 이미 Red Hat Enterprise Linux 이미지 모드에서 LLM을 실행하는 데 중점을 둔 조직을 위해 3대 주요 마켓플레이스에서 모두 Red Hat Enterprise Linux AI를 제공하고 있습니다. 

IBM Cloud 기반 Red Hat AI Inference 

또한 IBM Cloud와 협력하여 고객이 프로덕션급 AI 모델을 실행할 수 있도록 지원하는 완전 관리형 추론 서비스인 IBM Cloud 기반 Red Hat AI Inference의 출시를 발표합니다. 이 서비스는 엔터프라이즈급 액세스 제어, 감사, 사용 거버넌스와 같은 빌트인 거버넌스를 통해 기반 오픈소스 모델에 빠르고 비용 효율적으로 액세스할 수 있도록 지원합니다. 현재 모델 카탈로그 예시에는 Granite 4.0 H Small(IBM), Mistral-Small-3.2-24B-Instruct, Llama 3.3 70B Instruct, GPT-OSS-120B가 포함됩니다.

맺음말

Red Hat AI 3.4는 실험적인 챗봇에서 완전히 구현된 에이전틱 AI 엔터프라이즈로 전환하는 데 필요한 기능을 확장합니다. Red Hat은 분산 추론, 자동화된 데이터 파이프라인, 프레임워크에 구애받지 않는 AgentOps, 그리고 사전 예방적 AI 안전을 통합하여 하이브리드 클라우드를 위한 포괄적인 기반을 제공합니다. 이 릴리스는 모든 환경에서 예측 가능하고 보안 중심적이며 경제적으로 지속 가능한 자율 시스템을 구축할 수 있도록 툴을 확장합니다. 에이전틱 AI 시대를 위한 통합 플랫폼인 Red Hat AI는 조직이 AI 자산을 완벽하게 제어하면서 혁신을 확장할 수 있도록 지원합니다.

Red Hat AI에 대해 자세히 알아보고 귀하의 환경에 적합한 AI를 구축하는 방법을 확인해 보세요. Red Hat AI 3.4는 이달 말에 출시될 예정입니다.