Red Hat 파트너가 차세대 엔터프라이즈 AI를 구동하는 방법

AI 혁신의 속도는 가속화되고 있습니다. Red Hat AI 3 출시와 함께, 이러한 잠재력을 기업의 현실로 전환하려면 선택과 협업을 기반으로 구축된 강력한 개방형 에코시스템이 필요하다는 점을 다시 한번 깨닫게 됩니다. Red Hat의 목표는 항상 모든 모델, 모든 액셀러레이터, 하이브리드 클라우드 전반에서 작동하는 일관되고 강력한 AI 플랫폼을 제공하는 것이었습니다. 오늘 Red Hat은 오픈 하이브리드 AI의 미래를 Red Hat 기반으로 구축하기 위해 협력하고 있는 파트너들의 모멘텀을 소개하게 되어 매우 기쁩니다.

Red Hat 파트너 에코시스템은 고객이 광범위한 시장 도입에 필요한 생성형 AI(Gen AI)와 에이전트형 기능을 제공하는 엔진입니다. 최고의 하드웨어, 소프트웨어, 서비스를 결합하여 부분의 총합보다 훨씬 더 큰 전체를 만드는 것이 핵심입니다.

빠르고 유연하며 효율적인 추론 구동 

Red Hat AI 3의 출시는 엔터프라이즈 AI 추론을 촉진하고, 모델 선택을 확대하고, 최적화된 비용과 유연성을 위해 개방형 모델을 지원하는 데 중점을 두고 있습니다. 따라서 조직은 교육에서 '실천'에 이를 수 있습니다. Red Hat 파트너는 이를 실현하는 데 중요한 역할을 합니다. 

vLLM과 쿠버네티스를 사용하여 대규모 AI 추론을 제공하기 위해, llm-d 오픈소스 프로젝트가 Red Hat OpenShift AI 3.0의 일부로 정식 출시되었습니다. 이 프로젝트는 선도적인 생성형 AI 모델 제공업체, AI 액셀러레이터 및 프리미엄 AI 클라우드 플랫폼으로 구성된 연합의 지원을 받습니다. 이 프로젝트의 설립 기여자로 CoreWeave, Google Cloud, IBM Research, NVIDIA가 있으며, AMD, Cisco, Hugging Face, Intel, Lambda, Mistral AI와 같은 파트너의 추가 지원도 있습니다. 올해 초 이 프로젝트가 도입된 이후 Microsoft, Oracle, WEKA도 적극적으로 기여하는 멤버가 되었습니다. 

LLM(Large Language Models)이 광범위한 생성형 AI 애플리케이션의 기반이 됨에 따라, Red Hat은 파트너의 역량을 강화하고 고객에게 더 많은 선택권을 제공하기 위해 Partner Model Validation Guide 를 도입하고 있습니다. 이 가이드에서는 Red Hat 파트너가 Red Hat OpenShift AI 모델 카탈로그에 포함하기 위해 LLM을 벤치마킹하는 표준화된 단계별 프로세스를 간략하게 설명합니다.

모델 제공업체 파트너는 파트너 모델 검증 가이드를 활용하여 제공을 위한 vLLM, 성능 벤치마킹을 위한 GuideLLM, 정확성 평가를 위한 LM Evaluation Harness를 포함하여 규정된 오픈소스 툴체인을 사용하여 검증에 필요한 데이터를 생성할 수 있습니다. 일단 제출되어 Red Hat 팀에서 검증되면, 이 파트너 모델들은 성능 및 품질 메트릭을 완비하여 모든 Red Hat OpenShift AI 고객에게 공개되고 제공됩니다. 이 이니셔티브는 Red Hat 모델 카탈로그를 강화하여 고객에게 모델 수준에서 더욱 투명한 인사이트와 지침을 제공하고, AI 애플리케이션을 구축할 수 있는 동급 최고의 오픈소스 모델을 폭넓게 선택할 기회를 제공하며, 모델 제공업체 파트너를 위한 시장 가시성을 제공합니다.

에이전트형 AI 배포 가속화

궁극적으로 목표는 AI 애플리케이션이 비즈니스 가치를 제공할 수 있는 프로덕션 환경에 도입하는 것입니다. Red Hat AI는 파트너 에코시스템과 결합하여 에이전트형 AI를 개발, 배포, 관리하는 데 필수적인 기능을 제공합니다. Red Hat의 시스템 통합업체와 서비스 파트너는 바로 이 부분에서 중요한 역할을 합니다. Red Hat은 Accenture, HCL, Kyndryl, IBM Consulting, Infosys, NTT DATA와 같은 글로벌 리더들과 협력하여 고객이 이러한 애플리케이션을 확장하고 추론을 최적화하여 데이터센터에서 엣지에 이르는 모든 곳에서 AI를 실행할 수 있도록 지원합니다. 

견고한 기반과 지원 인프라를 통해 지능형 애플리케이션을 구동하는 툴과 모델에 초점을 맞춥니다. AI 전략은 이를 지원하는 데이터 플랫폼, 벡터 데이터베이스, 보안 툴, 개발자 유틸리티로 구성된 에코시스템에 달려 있습니다. Red Hat의 파트너 환경은 풍부하고 다양하며 현대적인 AI 워크플로우를 구축하는 데 필수적인 구성 요소를 제공합니다.

MCP(Model Context Protocol)

Red Hat AI 3 출시와 함께 Red Hat은 MCP 서버 컬렉션을 엄선했습니다. 이를 통해 ISV는 자체 툴과 서비스를 Red Hat AI에 직접 연결할 수 있습니다. CyberArk, Dynatrace, Elastic, EnterpriseDB, Palo Alto Networks 등과 같은 파트너는 Red Hat과 협력하여 MCP 서버를 선보이며 고객이 신뢰할 수 있는 툴로 정교한 에이전트형 애플리케이션을 구축할 수 있도록 지원합니다. 

Llama 스택

Meta의 오픈소스 Llama Stack과 함께하는 Red Hat의 작업은 Red Hat AI 3를 통해 개발자 역량을 강화하는 기반이 됩니다. Red Hat과 파트너는 이 오픈소스 프로젝트에 적극적으로 기여함으로써 생성형 AI 애플리케이션 라이프사이클을 혁신하는 표준화된 툴 세트를 개선하도록 지원하고 있습니다. 이를 통해 개발자는 혁신적 AI 솔루션의 생성과 배포를 가속화할 수 있는 매력적이고 강력하며 적응 가능한 환경을 확보하여 파트너와 고객에게 명확한 프로덕션 경로를 제공할 수 있습니다. Llama Stack은 다양한 AI 서비스와 툴을 통합하는 복잡성을 줄임으로써 개발자가 인프라 문제가 아닌 혁신에 집중할 수 있도록 지원합니다.

하이브리드 클라우드 전반에서 AI 확장

AI 액셀러레이터  

다양한 기능을 지원하기 위해서는 옵션이 중요합니다. 따라서 Red Hat은 AMD, Google Cloud, Intel과 같은 액셀러레이터 파트너와의 협업을 강화했습니다. 

Red Hat은 NVIDIA와 협력하여 NVIDIA의 성능 최적화 AI 컴퓨팅, 네트워킹, 소프트웨어를 Red Hat AI와 통합하여 고객이 규모에 맞게 AI를 구축, 배포, 관리하고 다양한 워크로드 전반에서 인프라를 최적화할 수 있도록 지원합니다. Red Hat과 NVIDIA는 규모에 따른 고급 AI 교육 및 추론을 목표로 NVIDIA GB200 NVL72 인프라 지원을 통해 AI 인프라 확장을 추진하고 있습니다. 또한 NVIDIA RTX PRO(R) 6000 Blackwell Server Edition GPU는 Red Hat AI, Red Hat OpenShift, Red Hat OpenShift Virtualization을 지원하여 공랭식(air-cooled) GPU 및 서버로 엔터프라이즈 AI 및 VDI 그래픽을 비롯한 다양한 엔터프라이즈 워크로드를 가속화합니다. 

Red Hat과 AMD와의 협업은 Red Hat AI에서 AMD의 x86 기반 프로세서 및 GPU 포트폴리오를 지원하여 보다 효율적인 생성형 AI를 구동합니다. 이는 vLLM 및 llm-d와 같은 업스트림 커뮤니티에서의 Red Hat 활동을 통해 향상된 성능과 GPU 지원을 제공하는 데 기여합니다. 

또한 Red Hat은 Intel과의 오랜 협업을 바탕으로 Intel® Gaudi® AI 가속기를 포함하여 확장 중인 하드웨어 플랫폼과 가속기 포트폴리오 전반에서 Red Hat AI를 지원하고 있습니다. 

이러한 선택에 대한 약속은 하이브리드 클라우드 전반으로 확장됩니다. 이 영역에서 Red Hat은 Google Cloud와 적극적으로 협력하여 Red Hat AI에서 TPU 지원을 강화하고, llm-d 및 vLLM과 같은 프로젝트를 통해 커뮤니티 중심의 혁신에 대한 공동의 비전을 확장하고 있습니다.

인프라 솔루션 

하지만 액셀러레이터는 퍼즐의 한 조각일 뿐입니다. 고객은 검증된 통합 솔루션이 필요합니다. 이를 위해 OEM 서버 파트너가 개입하여 AI의 이론적 잠재력을 실질적인 엔터프라이즈 현실로 전환합니다. AI의 기반은 액셀러레이터와 언어 모델에 기반을 두고 있지만, 대규모 AI를 실제로 배포하고 관리하려면 강력한 통합 솔루션이 필요합니다. 

Red Hat은 Cisco, Dell Technologies, HPE, Lenovo와 같은 업계 리더들과 적극적으로 협력하여 하이브리드 클라우드 환경 전반에서 AI의 배포와 관리를 간소화하고 있습니다. Dell과 협력하여 Dell의 강력한 서버 및 스토리지 솔루션이 Red Hat AI에 최적화되어 고객에게 AI 워크로드를 위한 안정적이고 확장 가능한 인프라를 제공하도록 노력하고 있습니다. 여기에는 Red Hat OpenShift 및 Red Hat OpenShift AI for the Dell AI Factory with NVIDIA를 지원하기 위한 공동 노력이 포함됩니다. 이는 최적화된 하드웨어 및 소프트웨어 기능을 결합하여 가장 까다로운 컴퓨팅 태스크를 처리할 수 있는 더욱 원활한 AI 배포를 촉진합니다.

이와 유사하게, Red Hat과 Cisco의 협업은 Cisco의 네트워킹, 보안, 컴퓨팅, 관측성 역량과 Red Hat OpenShift를 결합합니다. Red Hat OpenShift는 NVIDIA와 함께하는 Cisco Secure AI Factory의 핵심 AI 인프라 구성 요소인 Cisco AI PODs 내 컨테이너화된 AI 워크로드를 위한 애플리케이션 플랫폼으로 활용됩니다. Red Hat AI는 이러한 기반을 바탕으로 AI 모델 개발, 교육, 추론을 위한 일관되고 자동화된 환경을 제공합니다. 그 결과, 확장 가능하고, 고성능이며, 안전한 풀스택 AI 플랫폼이 탄생했습니다.

Red Hat은 인프라 에코시스템 전체로 AI 인프라 표준 설계 및 제공 사항을 확장하고 있습니다. 이러한 협업은 고객에게 AI를 운영화하는 데 필요한 포괄적인 솔루션을 제공하는 데 필수적이며, 필요한 하드웨어, 소프트웨어, 서비스를 통합하여 AI 도입과 혁신을 가속화할 수 있도록 지원합니다.

글로벌 총판과 부가 가치 리셀러(VAR)로 구성된 Red Hat의 방대한 에코시스템은 기업을 위해 반복 가능한 솔루션을 규모에 맞게 구축하는 데 중요한 역할을 합니다. Ahead, Arrow, TD Synnex, WWT 등의 파트너는 솔루션 포트폴리오 내에서 Red Hat AI를 활용하고 있습니다.

선도적인 AI 에코시스템 제공

Red Hat은 하드웨어, 소프트웨어, 서비스 전반에서 파트너와의 전략적 협업을 통해 하이브리드 클라우드 전반에서 다양한 옵션과 유연성을 제공하는 일관되고 강력한 AI 플랫폼을 제공하고 있습니다. llm-d를 통한 분산 추론 최적화에서 파트너 모델 검증 가이드를 통한 언어 모델 검증 및 에이전트형 AI 배포 가속화에 이르기까지 이러한 협업 방식을 통해 고객이 AI를 규모에 맞게 운영하고 비즈니스 가치를 극대화할 수 있도록 보장합니다.