Red Hat SummitRed Hat OpenShift AI
Red Hat® OpenShift® AI는 하이브리드 클라우드 환경 전반에서 예측 및 생성형 AI 모델의 라이프사이클을 규모에 맞게 관리하기 위한 플랫폼입니다.
Red Hat OpenShift AI란?
오픈소스 기술을 사용하여 구축한 OpenShift AI는 팀이 실험하고, 모델을 서빙하고, 혁신적인 애플리케이션을 제공할 수 있도록 일관된 운영을 지원하는 신뢰할 수 있는 기능을 제공합니다.
OpenShift AI는 데이터 수집 및 준비, 모델 학습 및 미세 조정(fine-tuning), 모델 서빙 및 모델 모니터링, 하드웨어 가속을 지원합니다. 하드웨어 및 소프트웨어 파트너로 구성된 개방형 에코시스템을 갖춘 OpenShift AI는 특정 활용 사례에 필요한 유연성을 제공합니다.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
AI 지원 애플리케이션을 더 빠르게 프로덕션으로 가져오기
Red Hat OpenShift AI와 Red Hat OpenShift의 입증된 기능을 단일 엔터프라이즈 레디(enterprise-ready) AI 애플리케이션 플랫폼에 결합하여 팀의 협업을 지원하세요. 데이터 사이언티스트, 엔지니어 및 애플리케이션 개발자는 일관성, 보안, 확장성을 촉진하는 단일 대상에서 협업할 수 있습니다.
OpenShift AI의 최신 릴리스는 사전 최적화된 소규모 모델을 사용하여 효율성을 높일 수 있도록 설계되었습니다. 또한 vLLM 프레임워크를 통한 분산 서빙으로 추론 비용을 더 손쉽게 관리할 수 있도록 지원합니다. OpenShift AI는 운영상의 복잡성을 더욱 줄이기 위해 배포를 자동화하는 고급 툴링을 제공하고 모델, 툴 및 리소스에 셀프 서비스 액세스할 수 있도록 합니다.
특징 및 장점
AI 인프라 관리에 소요되는 시간 단축
팀이 필요 시 리소스에 액세스할 수 있도록 하여 필요에 따라 셀프 서비스 방식으로 모델 학습 및 서빙 환경의 규모를 확장할 수 있도록 하세요. 또한 확장 가능한 클러스터 환경에서 AI Accelerator(GPU)와 워크로드 리소스를 관리하여 운영 복잡성을 줄이세요.
검증되고 지원되는 AI/ML 툴링
Red Hat은 Red Hat OpenShift 애플리케이션 플랫폼에서 공통 AI/ML 툴링과 모델 서빙을 추적, 통합, 테스트, 지원하여 사용자의 편의를 도모합니다. OpenShift AI는 Red Hat의 Open Data Hub 커뮤니티 프로젝트와 Kubeflow와 같은 오픈소스 프로젝트에서 다년간 진행되는 인큐베이션 경험을 기반으로 합니다.
하이브리드 클라우드 전반의 유연성
셀프 관리형 소프트웨어로 제공되거나 OpenShift 기반의 전체 관리형 클라우드 서비스로 제공되는 Red Hat OpenShift AI는 온프레미스, 퍼블릭 클라우드 또는 엣지 등 모델 개발 및 배포 위치를 선택할 수 있는 안전하고 유연한 플랫폼을 제공합니다.
모범 사례 활용
Red Hat Consulting은 Red Hat OpenShift AI를 설치하고 구성하여 최대한 활용할 수 있는 서비스를 제공합니다.
AI 여정을 시작하려고 하든, ML 플랫폼 팀의 기량을 향상하려고 하든, MLOps 기반 구축을 위한 가이드가 필요하든 Red Hat Consulting은 모든 고객에 적합한 지원과 멘토링을 제공합니다.
Red Hat Enterprise Linux AI
Red Hat® Enterprise Linux® AI는 기업 애플리케이션을 위한 Granite 대규모 언어 모델(LLM) 제품군을 원활하게 개발, 테스트, 실행할 수 있는 기반 모델 플랫폼입니다.
파트너십
다른 통합 서비스와 제품을 통해 Red Hat OpenShift AI 플랫폼을 확장하여 더 많은 가치를 창출하세요.
NVIDIA와 Red Hat은 독보적인 유연성으로 다양한 AI 활용 사례를 가속화하는 확장 가능한 플랫폼을 제공합니다.
Intel®과 Red Hat은 조직이 AI 도입을 가속화하고 빠르게 AI/ML 모델을 운영화하도록 지원합니다.
IBM과 Red Hat은 AI 빌더를 위한 엔터프라이즈 수준의 AI 스튜디오인 IBM watsonx.aiTM 등을 통해 AI 개발 가속화를 위한 오픈소스 혁신을 제공합니다.
Starburst Enterprise와 Red Hat은 분산된 여러 이기종 데이터 플랫폼에서 신속한 데이터 분석을 통해 적시에 개선된 인사이트를 지원합니다.
AI 플랫폼을 위한 확장 가능한 쿠버네티스 인프라
머신 러닝 운영(Machine Learning Operations, MLOPs) 원칙 및 사례를 적용하여 AI 기반의 애플리케이션을 빌드하는 방법을 알아보세요.
모델 워크벤치를 통한 협업
데이터 사이언티스트에게 사전 구축 또는 사용자 정의된 클러스터 이미지를 제공하여 선호하는 IDE(예: JupyterLab)를 통해 모델로 작업할 수 있도록 하세요. Red Hat OpenShift AI는 Jupyter, TensorFlow, PyTorch와 기타 오픈소스 AI 기술의 변경 사항을 추적합니다.
Red Hat OpenShift AI를 통한 모델 서빙 확장
모델은 온프레미스, 퍼블릭 클라우드 또는 엣지의 AI 기반 애플리케이션에 통합하는 데 최적화된 버전의 vLLM(또는 원하는 모델 서버)을 사용하여 서빙할 수 있습니다. 이러한 모델은 소스 Notebook 변경 사항에 따라 재구축, 재배포, 모니터링될 수 있습니다.
솔루션 패턴
Red Hat과 NVIDIA AI Enterprise를 활용한 AI 애플리케이션
RAG 애플리케이션 생성
Red Hat OpenShift AI는 데이터 사이언스 프로젝트를 빌드하고 AI 기능을 탑재한 애플리케이션을 제공하기 위한 플랫폼입니다. 자체 참조 문서에서 AI 답변을 얻는 방법인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 지원하는 데 필요한 모든 도구를 통합할 수 있습니다. OpenShift AI를 NVIDIA AI Enterprise와 연결하면 대규모 언어 모델(Large Language Model, LLM)을 실험하여 애플리케이션에 대한 최적의 모델을 찾을 수 있습니다.
문서 파이프라인 구축
RAG를 활용하려면 먼저 문서를 벡터 데이터베이스에 수집해야 합니다. 예시 애플리케이션에서는 제품 문서 세트를 Redis 데이터베이스에 임베드합니다. 이러한 문서는 자주 변경되기 때문에, 이 프로세스에 대한 파이프라인을 구축하여 주기적으로 실행하면 항상 최신 버전의 문서를 확보할 수 있습니다.
LLM 카탈로그 살펴보기
NVIDIA AI Enterprise에서 다양한 LLM 카탈로그에 액세스하여 여러 가지 옵션을 사용해 보고 그중에서 최상의 결과를 제공하는 모델을 선택할 수 있습니다. 모델은 NVIDIA API 카탈로그에 호스팅됩니다. API 토큰을 설정한 후에는 OpenShift AI에서 바로 NVIDIA NIM 모델 서빙 플랫폼을 사용하여 모델을 배포할 수 있습니다.
적합한 모델 선택
다양한 LLM을 테스트하면서 사용자는 생성된 각 응답을 평가할 수 있습니다. Grafana 모니터링 대시보드를 설정하면 각 모델의 평점, 대기 시간, 응답 시간을 비교할 수 있습니다. 그런 다음 해당 데이터를 기반으로 프로덕션에서 사용하기에 가장 적합한 LLM을 선택할 수 있습니다.
관련 리소스 살펴보기
고객 사례
Red Hat OpenShift AI로 데이터 사이언티스트의 역량을 강화한 DenizBank
동영상
LLM을 위한 AI 가드레일로 생성형 AI 모델을 보호하세요
애널리스트 문서
Omdia 리포트: AI를 위한 강력한 운영 기반 구축하기
체크리스트
조직에서 MLOps를 성공적으로 구현하는 5가지 주요 방법
Red Hat OpenShift AI 체험판 시작 방법
개발자 샌드박스
사전 구성된 유연한 환경에서 AI 지원 애플리케이션을 빌드해 보고 싶은 개발자와 데이터 사이언티스트에게 적합합니다.
60일 체험판
조직이 OpenShift AI의 모든 기능을 평가할 준비가 되었다면 60일 체험판으로 시작하세요. 기존 Red Hat OpenShift 클러스터가 필요합니다.
