레드햇, ‘레드햇 AI‘ 대규모 업데이트로 에이전틱 시대의 개발자·운영자 통합 지원

글로벌 오픈소스 솔루션 선도기업 레드햇(Red Hat)이 AI 실험 단계와 프로덕션 수준의 운영의 간극을 해소하기 위해 레드햇 AI(Red Hat AI) 포트폴리오 전반에 걸친 주요 업데이트를 발표했다. 레드햇 AI 3.4는 통합된 메탈-투-에이전트(metal to agent) 플랫폼을 통해 에이전틱 워크플로우의 개발 및 배포를 간소화하며, 기업이 파일럿을 넘어 전체 인프라에 걸쳐 확장 가능한 AI를 구현할 수 있도록 지원한다.

레드햇은 개발자와 운영자를 위한 일관된 프레임워크를 제공함으로써, 기업이 현대 엔터프라이즈 환경에서 요구되는 제어 기능, 보안 역량 및 하드웨어 효율성을 유지하면서 자율 시스템을 확장할 수 있는 기반을 마련한다.

레드햇 AI 3.4란?

레드햇 AI 3.4는 하이브리드 클라우드 전반에서 모델과 에이전틱 워크플로우를 확장하는 데 필요한 아키텍처 기반과 운영 도구를 제공하는 통합 플랫폼이다. 핵심은 서비스형 모델(Model-as-a-Service, 이하 MaaS)이다. 이번 업데이트를 통해 개발자는 선별된 모델에 단일 거버넌스 인터페이스를 통해 접근하는 동시에, 관리자가 사용량을 모니터링하고 정책을 적용할 수 있도록 한다. 이는 vLLM과 llm-d를 기반으로 하는 고성능 분산 추론 위에 구축되어 다양한 환경에서 최적화되고 효율적인 모델 서빙을 유지한다.

AI 에이전트가 추론 수요를 기하급수적으로 증가시키는 가운데, 레드햇 AI는 에이전트 프레임워크에 관계없이 대규모로 에이전트를 배포하고 관리할 수 있는 기능을 제공한다. 새롭게 도입된 에이전트옵스(AgentOps) 도구는 통합 추적(tracing), 가시성(observability), 암호학 신원 관리 및 라이프사이클 관리 기능을 통해 개발 단계부터 운영 단계까지 에이전트를 관리한다.

엔터프라이즈 데이터를 모델 및 에이전트와 통합하기 위해, 레드햇 AI 3.4는 프롬프트를 핵심 데이터 자산으로 관리하는 프롬프트 관리 기능과 모델 및 에이전트의 정확성·품질·안전성을 평가하는 평가 허브(Evaluation Hub)를 새롭게 제공한다. 이 기능들은 생성형 AI와 예측형 AI에 대해 통합된 실험 추적 및 아티팩트 관리 기능을 제공하는 MLflow 플랫폼을 기반으로 한다. 또한 채터박스 랩스(Chatterbox Labs) 기술과 가락(Garak) 프로젝트를 활용한 자동화된 안전성 테스트 및 레드팀(red-teaming) 기능을 통해, 사용자가 모델과 에이전트의 안전성을 검증할 수 있도록 지원하며, 실험적 파일럿에서 프로덕션 환경에 적용 가능한 엔터프라이즈 유틸리티로 이어지는 보안 중심의 경로를 제공한다.

레드햇 AI 3.4가 중요한 이유

실험적 챗봇에서 프로덕션 수준의 자율 시스템으로의 전환은 IT 팀 간 협업 방식의 근본적인 변화를 요구한다. 많은 기업이 비용을 효율적으로 관리하고 프라이빗·소버린 AI 활용 사례를 구현하기 위해, 단순히 AI 서비스를 소비하는 '토큰 소비자(token consumer)'에서 AI를 직접 운영하는 '토큰 제공자(token provider)'로 전환해야 할 필요성을 인식하고 있다. 그러나 개발자와 인프라 관리자 사이의 마찰은 여전히 도입의 주요 장애물로 남아 있다. 두 역할을 조율하는 통합된 접근 방식 없이는 인프라 접근 장벽은 혁신을 저해하고, '섀도우 AI(shadow AI)'로 인한 거버넌스 공백과 예측 불가능한 비용 증가로 이어질 수 있다.

레드햇 AI 3.4는 확장 가능한 추론과 자율 에이전트 배포를 위한 엔터프라이즈 기반을 제공해 이러한 상충 관계를 해소하며, 엄격한 리스크 및 거버넌스 기준을 충족하는 데 필요한 투명성과 제어 기능을 제공한다. 에이전트는 일정 수준의 자율성을 가지고 작동하기 때문에, 의사결정 과정에 대한 가시성 부족은 심각한 보안 위험 요소가 된다. 레드햇 AI는 행동, 추론 단계, 도구 호출을 추적할 수 있는 인프라를 제공해, 에이전트가 어떤 과정을 거쳐 특정 결과에 도달했는지 감사(audit)할 수 있다. 암호화 신원 관리 기능 통합을 통해, 모든 행동을 검증된 신원과 연결함으로써 어떤 주체가 해당 작업을 수행했는지 확인할 수 있다. 이러한 기능들은 기업이 분산화된 파일럿을 넘어 AI를 확장 가능하고 예측 가능하며, 무엇보다 책임 있는 엔터프라이즈 인프라로서 운영할 수 있도록 지원한다.

인용문

조 페르난데스(Joe Fernandes),레드햇 AI 비즈니스 유닛 부사장 겸 총괄 관리자는 "에이전틱 시대는 레드햇 플랫폼이 기존 애플리케이션 실행에서 지능형 자율 시스템 운영으로 진화하는 전환점을 의미한다”라며 “기업이 AI를 실행하는 방식에 대한 개방형 표준을 정의하고 있다. 레드햇은 AI 추론, MaaS, 에이전트옵스를 위한 견고한 메탈-투-에이전트 기반을 제공함으로써, 기업이 엄격한 통제력을 유지하면서도 대규모로 혁신을 추진하는 데 필요한 운영적 안정성을 제공한다”라고 말했다.

우르바시 차우다리(Urvashi Chowdhary), 코어위브(CoreWeave) AI 서비스 제품 관리 부문 부사장은 "코어위브와 레드햇의 협력은 개방성에 대한 공동의 의지와 기업이 가장 복잡한 AI 워크로드를 확장할 수 있도록 지원하는 고성능 추론 기반 구축이라는 공통 목표를 기반으로 한다. 양사는 코어위브 쿠버네티스 서비스에서 레드햇 AI 인퍼런스를 실행하기 위한 배포 청사진을 함께 완성했으며, 이를 통해 온프레미스와 클라우드 환경에서 동일한 추론 스택을 쿠버네티스 네이티브 방식으로 제어하고 프로덕션 수준의 성능으로 운영할 수 있다. 규제 산업의 엔터프라이즈 AI 팀이 환경마다 스택을 재구성하는 대신, AI 구축 및 확장과 같은 중요한 업무에 집중할 수 있도록 지원한다”라고 말했다.

존 파넬리(John Fanelli), 엔비디아(NVIDIA) 엔터프라이즈 소프트웨어 부문 부사장은 "엔터프라이즈 환경에서 자율적으로 장시간 실행되는 에이전트는 신뢰할 수 있는 대규모 운영을 보장하기 위해 새로운 차원의 인프라 제어 및 보안이 필요하다. 레드햇 AI 팩토리 위드 엔비디아는 개발자와 운영자에게 에이전틱 미래를 향해 나아가는 데 필요한 거버넌스와 확신을 제공하는 통합된 오픈소스 기반을 제공한다”라고 말했다.

주요 업데이트 사항

• 확장 가능한 고성능 추론과 거버넌스 기반 모델 접근의 결합: 고효율 모델 추론은 프로덕션 수준 AI의 핵심이다. 레드햇 AI 3.4는 vLLM 추론 서버와 llm-d 분산 추론 엔진을 MaaS와 결합해, 안정적이고 고성능의 모델 추론 기반을 제공하는 동시에 사용자와 에이전트를 위한 거버넌스 기반 모델 접근을 간소화한다.
• 자율 애플리케이션 라이프사이클을 위한 간소화된 에이전트옵스: 레드햇 AI 3.4는 대규모 에이전트 운영화를 지원하는 포괄적인 에이전트옵스 기능을 도입했다. 통합 추적, 가시성, 평가 기능과 더불어 에이전트 신원 관리 및 라이프사이클 관리를 통해 개발 단계에서 프로덕션까지 에이전트를 일관되게 운영할 수 있다.
• 데이터와 모델 및 에이전트의 연결: 엔터프라이즈 데이터는 모델과 에이전트를 구동하는 핵심 연료다. 레드햇 AI 3.4는 프롬프트를 핵심 데이터 자산으로 관리하는 프롬프트 관리 기능과, 품질·정확성·안전성·리스크 전반에 걸쳐 평가를 관리하는 평가 허브를 추가했다. 이 기능들은 생성형 AI와 예측형 AI/ML 활용 사례를 위한 실험 추적 및 아티팩트 관리를 제공하는 MLflow 기반으로 구현됐다.
• 모델 및 에이전트 전반의 통합 안전성·보안: AI 스택 전체를 보호하기 위해, 레드햇 AI는 운영체제부터 에이전트 로직에 이르는 계층별 보안 체계를 제공한다. 자동화된 안전성 테스트와 레드팀을 통해 기업은 데이터 기반의 접근 방식으로 모델과 가드레일을 선택 및 구성하고, 지속적으로 진화하는 위협으로부터 AI 워크로드를 보다 효과적으로 보호할 수 있다.

세부 사항

• 고급 추론 및 모델 최적화: 레드햇 AI 인퍼런스(Red Hat AI Inference)은 분산 추론 기능에 요청 우선순위 지정 기능을 추가해, 인터랙티브 및 백그라운드 트래픽이 동일한 엔드포인트를 공유하면서도 부하 상황에서 지연 시간(latency)에 민감한 요청이 먼저 처리될 수 있도록 한다. 또한 코어위브, 애저 등 추가적인 쿠버네티스 서비스로 지원 범위를 확장해 레드햇 오픈시프트(Red Hat OpenShift)를 넘어 다양한 환경에서 일관된 추론 스택을 제공한다. 이번에 정식 출시된 추측 디코딩(speculative decoding) 지원 기능은 품질 저하를 최소화하면서 응답 속도를 2~3배 향상해 인터랙션당 비용을 절감한다.
• 거버넌스 기반 서비스형 모델(MaaS): 플랫폼 엔지니어가 표준 오픈AI(OpenAI) 호환 인터페이스 기반의 보안이 강화된 API 엔드포인트를 통해 선별되고 검증된 모델을 제공할 수 있다. 이를 통해 신원 제공자(IdP) 기반 인증과 통합되어 내부 모델과 외부 API를 통합 거버넌스 체계에 관리한다.
• 통합 프롬프트 관리: 프롬프트를 핵심 데이터 자산으로 구축하고 관리하는 통합 도구를 제공한다. 모델과 에이전트를 구동하는 입력값을 중앙 레지스트리에 저장함으로써, 개발자와 관리자를 위한 단일 정보 소스를 제공한다.
• 모델 및 에이전트 자동화 평가: 레드햇 AI 3.4는 평가 허브를 도입했다. 이는 대규모 언어 모델(LLM), AI 애플리케이션 및 에이전트를 평가하는 프레임워크에 구애받지 않는 통합 AI 평가 제어 플레인으로, 분산화된 테스트 방식을 대체해 품질·정확성·리스크를 통합적으로 벤치마킹하는 통합된 접근 방식을 제공한다.
• 다층적 안전성: 자동화된 적대적 스캐닝(adversarial scanning) 기능이 개발 라이프사이클에 직접 통합됐다. 채터박스 랩스 기술을 활용한 레드햇 AI 플랫폼은 가락을 통해 모델 및 에이전틱 시스템의 탈옥(jailbreak), 프롬프트 주입(prompt injection), 편향성(bias) 등의 위험을 검사하며, 엔비디아 네모 가드레일(NVIDIA NeMo Guardrails)과 연동하여 런타임 안전성을 제공한다.
• 프로덕션급 가시성: MLflow 통합을 통해 에이전트 실행에 대한 가시성이 확보된다. 오픈텔레메트리(OpenTelemetry)를 통해 LLM 호출, 추론 단계, 도구 실행, 모델 응답 및 토큰 사용량에 대한 엔드-투-엔드 추적이 가능하다. 프롬프트·임베딩·RAG 구성의 전체 라이프사이클에 대한 투명한 감사 추적을 생성해 디버깅과 감사도 지원한다. MLflow는 생성형 AI와 예측형 AI 활용 사례를 위한 실험 추적 및 아티팩트 관리도 통합 제공한다.
• 신원 기반 거버넌스: 레드햇 AI는 암호화 신원 관리(SPIFFE/SPIRE)를 활용해 기업이 정적으로 하드코딩된 키를 단기 유효 토큰으로 대체할 수 있도록 지원한다. 이를 통해 스택 전반에 걸쳐 자율 에이전트의 최소 권한 운영을 지원하고 에이전트 행동이 검증된 신원과 연결됨을 확인할 수 있다.
• 자동화 기능: 오토RAG(AutoRAG)와 오토ML(AutoML)은 특정 데이터셋에 가장 효과적인 검색 전략 선택부터 기존 예측 모델 구축 및 최적화에 이르기까지 복잡한 AI 작업을 자동화한다.
• 하드웨어 유연성 및 매니지드 클라우드 지원: 레드햇 AI 3.4는 엔비디아 블랙웰(NVIDIA Blackwell) GPU와 AMD MI325X 아키텍처에 대한 0일 차 지원(day-zero support)을 제공한다. 레드햇 AI 인퍼런스 온 IBM 클라우드(Red Hat AI Inference on IBM Cloud) 지원을 포함해 서드파티 매니지드 클라우드에서도 네이티브로 실행되도록 통합 플랫폼 아키텍처를 확장함으로써, 다양한 하드웨어 및 클라우드 공급자 환경에서 일관된 운영 환경을 제공한다.

가용성

레드햇 AI 3.4는 이달 중 출시 예정이다.