Red Hat AI 3의 뛰어난 처리 속도, 가속화된 서비스 제공, 확장성

지난 5월 Red Hat Summit에서 Red Hat은 Red Hat AI 포트폴리오 전반에 걸쳐 여러 발표를 했습니다. 여기에는 Red Hat AI Inference Server 및 Red Hat AI 타사 검증 모델 도입, 개발자 프리뷰로 Llama Stack 및 MCP(Model Context Protocol) API 통합, 그리고 llm-d 커뮤니티 프로젝트 구축이 포함됩니다. 포트폴리오의 최신 버전인 Red Hat AI 3는 기업을 위해 이러한 프로덕션 레디 기능의 대부분을 제공합니다. 또한 팀이 효율성을 높이고, 더 효과적으로 협업하며, 어디서나 배포할 수 있도록 지원하는 더 많은 툴과 서비스를 제공하고 있습니다. Red Hat AI 3가 비즈니스에 어떤 의미가 있는지 살펴보겠습니다.

1. SLA 인식 추론으로 새로운 차원의 효율성 달성

Red Hat의 전략은 모든 액셀러레이터와 환경에서 모든 모델을 지원하는 것입니다. 최신 추론 개선 사항은 생성형 AI(gen AI) 애플리케이션의 서비스 수준 계약(SLA)을 충족하는 기능, 추가 하드웨어 가속기에 대한 지원, 검증되고 최적화된 타사 모델의 확장된 카탈로그를 제공합니다. 주요 내용은 다음과 같습니다.

• llm-d는 현재 Red Hat OpenShift AI 3.0에서 정식 출시되었습니다. llm-d는 대규모 언어 모델(LLM)의 예측 불가능한 특성을 확장하고 관리하는 데 필수적인 쿠버네티스 네이티브 분산 추론을 제공합니다. 기존의 많은 스케일 아웃 워크로드의 일관된 동작과 달리 프롬프트 및 응답과 같은 LLM 요청은 크게 다를 수 있으므로 모놀리식 확장 방식은 매우 비효율적일 수 있습니다. llm-d는 추론 프로세스를 지능적으로 분산함으로써 일관된 리소스 할당과 예측 가능한 응답 시간을 제공합니다. 이는 엄격한 SLA를 충족하고 엔터프라이즈 Gen AI 애플리케이션의 경제성과 성능 실행 가능성을 최적화하는 데 매우 중요합니다.
• 최신 버전의 Red Hat AI Inference Server 버전 3.2는 엔터프라이즈급 vLLM을 통해 일관되고 빠르며 비용 효율적인 추론을 제공하고 Red Hat AI의 모델 최적화 기능에 대한 액세스를 제공하며, NVIDIA 및 AMD GPU 지원을 이제 IBM Spyre까지 확장합니다. 이러한 새로운 액셀러레이터의 통합을 통해 고객은 향후 AI 전략을 지원하는 데 필요한 유연성, 최적화, 위험 관리를 제공합니다.
• Red Hat AI 3는 Open AI, Google, NVIDIA와 같은 제공업체의 프론티어 오픈소스 모델을 포괄하는 새로운 제 3사 검증 및 최적화 모델을 제공합니다. 이를 통해 모델 선택을 간소화하고, 조직이 하드웨어 비용을 절감하고, 더 높은 처리량을 달성하고, 추론 중 대기 시간을 줄이는 데 도움이 됩니다. 이러한 엔터프라이즈 레디 모델은 Red Hat AI Hugging Face 리포지토리와 Red Hat OpenShift AI 모델 카탈로그에서 스캔 및 추적 가능한 컨테이너로 제공됩니다. 새로운 모델에는 다국어, 코딩, 요약, 채팅 등이 포함됩니다.
• 사용자를 위한 모델 제공업체가 되고자 하는 엔터프라이즈 IT 조직을 위해 OpenShift AI 3.0은 서비스로서의 모델(MaaS) 기능에 대한 액세스 권한을 개발자 프리뷰로 제공합니다. MaaS를 통해 조직은 퍼블릭 클라우드 환경에서 실행할 수 없는 활용 사례에 대해 API 기반 및 자체 관리형 모델을 혼합하여 활용할 수 있습니다. 이 릴리스에는 MaaS 컨트롤 플레인, 통합 API 게이트웨이, 역할 기반 액세스 제어(RBAC), 비용 추적 메트릭이 포함되어 있어 조직이 리소스를 중앙 집중화하고, 혁신을 가속화하고, 프라이빗 AI와 관련된 운영 비용을 줄일 수 있습니다.

2. 에이전트 기반 AI 혁신 가속화

클라우드 네이티브 개발의 진화는 지난 10년 동안 많은 조직이 애플리케이션을 구축하는 방식에 혁신을 가져왔습니다. 마찬가지로, Gen AI는 소프트웨어 개발 표준을 혁신했습니다. 이제 AI의 세 번째 물결이 더 큰 트랜스포메이션인 에이전트 기반 AI를 이끌고 있습니다.

OpenShift AI 3.0의 몇 가지 새로운 기능은 확장 가능한 AI 에이전트 시스템 및 워크플로우의 기반을 마련하는 데 도움이 되며, 다음과 같이 에이전트 기반 AI 제공을 가속화하는 데 필요한 프레임워크, 툴, 기능을 제공합니다.

• 모듈식 및 적응형 AI 플랫폼(Llama Stack 포함): 유연성을 강화하고 AI 에이전트 운영을 간소화하기 위해 Red Hat은 OpenShift AI 3.0의 기술 프리뷰로 Llama Stack API를 출시했습니다. 이를 통해 RAG(검색 증강 생성), 안전 및 평가에서 텔레메트리, vLLM을 통한 추론, MCP를 통한 툴 호출에 이르기까지 광범위한 AI 기능에 대한 표준화된 진입점을 제공하여 조직이 자체 API, 외부 프로바이더, 선호하는 에이전트 기반 프레임워크를 통합할 수 있도록 지원합니다. Red Hat AI는 신뢰할 수 있고 포괄적이며 일관된 플랫폼을 제공하므로 프로덕션 환경에서 AI 에이전트를 보안 중심 방식으로 규모에 따라 더 쉽게 배포, 관리, 실행할 수 있습니다.
• MCP 지원: AI 에이전트 시스템의 배포를 가속화하기 위해 OpenShift AI 3.0은 개발자 프리뷰로 새롭게 부상하는 개방형 표준 MCP에 대한 지원을 제공합니다. MCP 서버는 광범위한 외부 툴, 데이터 소스, 애플리케이션을 위한 표준화된 "번역기" 역할을 합니다. 외부 애플리케이션 및 데이터 소스와의 복잡한 통합을 처리하여 Llama Stack API를 보완하므로, Llama Stack이 각 외부 툴에 대한 사용자 지정 통합을 필요로 하지 않도록 합니다. 또한 MCP 서버 컬렉션을 선별했습니다. 이를 통해 ISV는 자체 툴과 서비스를 Red Hat AI에 직접 연결할 수 있습니다.
• 간소화된 전용 경험: OpenShift AI 3.0은 AI 허브 및 Gen AI 스튜디오와 같은 전용 경험을 제공하여 플랫폼 및 AI 엔지니어의 고유한 요구 사항을 충족합니다. AI 허브를 통해 플랫폼 엔지니어는 LLM 및 MCP 서버와 같은 기본 자산을 탐색, 배포, 관리할 수 있습니다. AI 자산의 라이프사이클 및 거버넌스를 관리하기 위한 중심점 역할을 합니다. Gen AI 스튜디오는 AI 엔지니어에게 배포된 AI 자산을 검색, 테스트, 관리할 수 있는 핸즈온 환경을 제공합니다. AI 엔지니어는 다양한 모델을 실험하고, 하이퍼파라미터를 튜닝하고, 채팅 및 RAG와 같은 생성 AI 애플리케이션의 프로토타입을 제작할 수 있습니다.

3. 모델을 프라이빗 데이터에 연결

Red Hat AI 3를 통해 팀은 도메인에 맞게 AI를 사용자 정의할 수 있는 다양한 방법을 제공하여 모델 성능과 정확성을 높일 수 있습니다. Red Hat AI 3의 툴링은 개발자에서 데이터 과학자, AI 엔지니어에 이르기까지 모든 수준의 AI 전문 지식 기여자가 액세스할 수 있으므로 협업과 상호운용성을 간소화합니다. 새로운 기능은 다음과 같습니다.

• 모듈식 및 확장 가능한 접근 방식: OpenShift AI 3.0은 모델 사용자 정의를 위한 새로운 모듈식 및 확장 가능한 툴킷을 도입하여, 강력한 엔드 투 엔드 방법론에서 더 유연한 접근 방식으로 이동하는 InstructLab의 발전 과정을 보여줍니다. 이 툴킷에는 데이터 수집, 합성 데이터 생성(SDG), 모델 튜닝, 평가를 위한 개별적인 특수 Python 라이브러리가 포함되어 있어 팀이 더 효과적으로 제어하고 모델을 사용자 정의할 수 있는 더 효율적인 경로를 제공합니다. 이를 통해 데이터 과학자, AI 연구원, AI 엔지니어는 필요한 구성 요소만 선택하여 더 빠르고 효율적으로 작업할 수 있습니다.
• 향상된 RAG 기능: 이제 OpenShift AI에서 새롭게 확장된 RAG 경험을 사용할 수 있습니다. 이처럼 간소화된 워크플로우를 통해 개발자와 AI 엔지니어는 docling과 같은 오픈소스 기술로 데이터 소스에 쉽게 액세스하고 이를 모델, 애플리케이션, 에이전트에 연결할 수 있습니다. 이 플랫폼은 이제 Llama Stack 옵션과 함께 OpenAI의 임베딩 및 완료 API를 지원하므로 일관된 기능을 유지하면서 다양한 환경에 RAG 솔루션을 배포할 수 있는 유연성을 제공합니다.

4. 하이브리드 클라우드 전반에서 AI 확장

생산성, 일관성, 향상된 사용자 환경은 성공적인 AI 전략의 핵심입니다. Red Hat의 목표는 기업이 하이브리드 클라우드 전반에서 규모에 따라 AI 모델과 에이전트 기반 애플리케이션을 일관되게 구축, 튜닝, 배포, 관리할 수 있도록 지원하는 AI 플랫폼을 제공하여 가치 창출 시간을 단축하는 통합 경험을 제공하는 것입니다. OpenShift AI 3.0은 다음을 제공합니다. 

• 모델 레지스트리를 통한 중앙 집중식 제어: 모델 레지스트리는 AI 모델 관리를 위한 더욱 간소화된 경험을 제공하여 팀이 고객의 자체 모델 및 아티팩트에서 인기 있는 커뮤니티 및 타사 옵션에 이르는 광범위한 자산을 더 쉽게 검색, 재사용, 관리할 수 있도록 합니다. 이러한 기능은 생산성을 높이고 일관성을 증진하며 중앙화된 라이프사이클 관리를 보장하도록 설계되었습니다.
• AI 파이프라인을 위한 사용자 경험(UX) 개선: AI 파이프라인을 위한 향상된 사용자 경험은 데이터 과학자와 AI 엔지니어가 모델을 더 빠르게 훈련하고 튜닝하는 데 필요한 툴링을 제공하여 실행 가능한 예시와 재사용 가능한 구성 요소를 통해 워크플로우를 간소화할 뿐만 아니라 고유한 Argo 워크플로우를 활용하여 유연성을 극대화할 수 있는 기능을 제공합니다.
• 관측성 강화: 조직에 AI 성능과 제어 및 일관성 개선에 대한 중앙집중식 관점을 제공하기 위해 OpenShift AI 3.0에는 OpenTelemetry 관측성 표준, 구성이 필요 없는 GPU(Graphics Processing Unit) 모니터링, 토큰 생성 시간 및 처리량과 같은 주요 AI 메트릭을 위한 참조 대시보드, 그리고 엔터프라이즈 모니터링 플랫폼과의 원활한 통합을 위한 API 내보내기 기능이 포함됩니다.
• 지능형 서비스로서의 GPU: OpenShift AI 3.0은 고급 기능을 사용하여 GPU 활용도를 높이고 효율성을 극대화하며 광범위한 워크로드를 지원합니다. 모든 NVIDIA MIG 지원 기기에 대한 액셀러레이터 슬라이싱을 통해 기업은 여러 사용자를 위해 GPU를 파티셔닝하여 리소스가 낭비되지 않도록 할 수 있습니다. 이 플랫폼은 Kueue를 활용하여 Ray 교육 작업, 교육 오퍼레이터 기반 작업, 공유 하드웨어 전반에서 효율적인 스케줄링 및 관리를 위한 추론 서비스를 포함하여 더욱 다양한 AI 워크로드 세트를 지원합니다.

엔터프라이즈 AI에 대한 새로운 접근 방식

Red Hat AI는 엔터프라이즈 AI가 모든 문제를 해결할 수는 없다는 생각을 바탕으로 만들어졌습니다. 이는 실제 비즈니스 과제의 복잡성과 다양성을 인식하는 전략적이고 종합적인 접근 방식입니다. Red Hat은 조직이 현 상태를 넘어 이동할 수 있도록 지원하는 유연한 플랫폼을 제공하여 하이브리드 클라우드 전반에서 모든 모델, 하드웨어 또는 배포 전략을 자유롭게 선택할 수 있도록 지원합니다. 선택, 제어, 효율성에 대한 이러한 약속이 Red Hat을 차별화합니다. Red Hat은 AI를 제공할 뿐만 아니라 조직이 AI 투자를 최대한 활용할 수 있도록 지원하는 신뢰할 수 있고 포괄적인 기반을 제공합니다.

Red Hat AI 3에 대해 자세히 알아보고 AI를 구축하는 방법을 알아보려면 Red Hat의 What’s new and what’s next 라이브 세션을 시청하고 웹사이트를 방문하세요.