Red Hat Consulting: AI Platform Foundation

산업 전반의 리더들은 프로세스를 재혁신하고 차별화된 고객 경험을 만들어 내기 위해 생성형 AI 도입에 박차를 가하고 있습니다. Red Hat은 업계 최고의 오픈 하이브리드 클라우드 플랫폼을 통해 조직이 데이터센터부터 클라우드 환경에 이르기까지 최첨단 AI 애플리케이션을 원활하게 개발, 배포 및 관리하도록 지원합니다.

하지만 AI 애플리케이션을 파일럿 단계에서 실제 프로덕션 환경으로 전환하는 과정에는 만만치 않은 과제들이 존재합니다. 막대한 GPU 비용, 복잡한 모델 서빙 요구 사항, 대규모 언어 모델(LLM)의 반복적인 미세 조정과 배포를 저해하는 비일관적 개발 환경 등 여러 어려움이 있습니다.

이러한 난제를 해결하기 위해 Red Hat은 Red Hat AI Inference Server, Red Hat OpenShift® AI, Red Hat Enterprise Linux® AI를 포함하는 Red Hat® AI를 선보였습니다. 이는 데이터 준비, 모델 미세 조정부터 확장 가능한 추론과 모니터링에 이르기까지 전체 LLMOps 라이프사이클을 지원하는, 유연한 오픈소스 툴링 기반의 엔드 투 엔드 플랫폼입니다. 이 여정을 시작하기 위해 Red Hat Consulting: AI Platform Foundation은 고객 조직이 생성형 AI 애플리케이션을 신속하게 운영화하고 실질적인 비즈니스 성과를 거두는 데 필요한 최적의 LLMOps 전략과 AI 플랫폼 구축을 전문적으로 지원합니다.

Red Hat Consulting은 고객이 Red Hat AI 투자 자산을 빠르게 배포하고 도입하며 AI 실무 역량을 고도화할 수 있도록 AI Platform Foundation 서비스를 개발했습니다. 중앙 플랫폼이 구축되면 사용자들은 표준화된 라이브러리와 툴에 액세스하고, 개선된 컴퓨팅을 이용하며, 더 효과적으로 협업하고, 데이터 사이언티스트, AI 엔지니어와 기타 사용자의 개선된 온보딩을 경험할 수 있습니다.

이러한 서비스를 통해 Red Hat 전문가는 조직 내 팀과 함께 현재 환경과 접근 방식을 평가하고 향후 요구 사항을 파악합니다. GitOps 접근 방식을 통해 Red Hat AI 플랫폼을 배포하고 관리하며, 이를 고객 환경 내 다른 툴과 통합함으로써 강력한 엔드 투 엔드 플랫폼을 구현합니다.

아키텍처 세션

Red Hat 컨설턴트는 개발, 테스트 및 프로덕션 클러스터 등 여러 클러스터에 배포하는 작업 위주의 핸즈온 경험을 제공하며, 이를 데이터 사이언티스트, AI 엔지니어와 애플리케이션 개발자 등의 최종 사용자로 확장할 수 있습니다.

아키텍처 세션을 시작하여 기존 시스템에서 중요한 모든 통합 포인트와 각 고객의 고유한 요구 사항을 충족하는 데 필요한 추가 툴링을 파악합니다. 이때 Red Hat Consulting은 고객이 AI 플랫폼에 필요한 툴과 모델을 선택하는 데 도움을 줄 수 있습니다. 또한 Red Hat Consulting은 아키텍처 리뷰를 실시하여 고객 환경을 이해하고 Red Hat AI를 어떻게 활용하고 도입할지 결정합니다. 

팀 협업

이러한 아키텍처 세션 이후에 Red Hat 컨설턴트는 팀과 협업하여 아키텍처 설계 세션에 정의된 제3사 툴링 구성 요소의 배포와 구성을 지원합니다. 이 단계에서 Red Hat 컨설턴트는 다음을 수행할 수 있습니다. 

• 적절한 구성 규모 조정, 데이터 시스템과 통합, GPU와 같은 하드웨어 가속기 구성을 위한 협업
• 제3사 툴링의 배포, 구성, 통합 지원
• 기존 플랫폼 기능(예: 서버리스, GitOps, 파이프라인)을 통합하여 플랫폼 요구 사항 지원

커스터마이징

Red Hat은 고객마다 고유의 비즈니스 목표가 있다는 점을 인지하고 있습니다. 따라서 아키텍처 설계 세션을 기반으로 다음 사항에 중점을 두고 서비스 구성 요소를 맞춤화합니다. 

• 모델 학습, 모델 배포와 데이터 통합을 위한 맞춤형 파이프라인 개발
• 맞춤형 노트 제공을 위한 파이프라인 생성
• Models-as-a-Service(MaaS) 구축
• 모델의 정확도를 벤치마킹하고 평가하기 위한 파이프라인 생성

Red Hat은 이 서비스의 핵심 기반으로 클러스터 관리, 인프라 팀, 데이터 사이언티스트 간의 연결을 최우선 순위에 놓습니다. Red Hat은 양 조직과 직접 협력하여 현재 상태를 유지하는 동시에 향후 요구 사항의 기반을 마련하도록 팀을 지원합니다.

AI Platform Foundation을 구축한 후에는 데이터 사이언티스트, AI 엔지니어와 직접 협력하여 이들의 온보딩을 지원하고 사용자 경험을 개선할 수 있도록 커스터마이징을 제공합니다.

고려 사항

Red Hat은 고객의 모든 생성형 AI 여정을 지원합니다. 모델을 실험하고 모델을 프로덕션 환경에 배포하기 위한 전략을 개발하는 것 이상의 단계를 고려한다면 AI Platform Foundation에 이어 Red Hat Consulting: Operationalizing AI를 이용하면 좋습니다.

Red Hat Services는 Red Hat Consulting, Red Hat 교육 및 자격증, Red Hat Technical Account Management(TAM)로 구성되어 있으며, 현대적인 클라우드 애플리케이션을 빌드하기 위한 통합 지원과 지침을 제공합니다. 

컨설팅: Red Hat 컨설턴트는 핸즈온 멘토링을 통해 기술을 구축하고 독립성을 권장하는 동시에 프로세스를 간소화하고, 팀을 조정하고, 시스템과 애플리케이션이 연동되도록 합니다.

교육: 이머징 기술과 오픈소스 기반 기술에 대한 역할 기반 핸즈온 지식을 개발하여 기술 격차를 좁히고 팀이 Red Hat 제품 전문성을 높이도록 지원합니다. Red Hat AI에 관한 강력한 커리큘럼을 확인해 보세요. 

Red Hat TAM: 기술 계정 관리자(TAM)는 조직과 협력하여 잠재적 문제를 사전에 해결함으로써 디스럽션을 최소화하고 주요 비즈니스 과제에 집중할 시간을 확보하는 데 도움을 줍니다.

Red Hat은 고객이 첫 AIML 모델뿐만 아니라 AIML 시스템 전체에 대한 기반을 제공할 수 있도록 지원을 아끼지 않고 있습니다. Red Hat은 AIML 모델을 프로덕션 레디 솔루션으로 학습시키고 배포하기 위한 재사용 가능한 패턴을 생성함으로써 고객의 향후 AIML 프로젝트 수행을 돕기 위한 방법을 모색하고 있습니다. 

GitOps 접근 방식을 사용함으로써 Red Hat Consulting은 데이터 사이언스 프로젝트를 프로비저닝하고, AIML 모델의 빌드, 학습, 테스트, 배포, 모니터링을 가속화하며, 클라우드 기반 클러스터부터 완전히 분리된 온프레미스 환경에 이르기까지 하이브리드 클라우드 환경과 엣지 환경 전반에서 프로덕션으로 모델을 지속적으로 내보내도록 지원할 수 있습니다.

Red Hat이 제공하는 AI 서비스에 관심이 있으신가요? Red Hat 어카운트 팀 또는 컨설턴트에게 문의하세요.