프라이빗 및 하이브리드 클라우드를 위한 프로덕션 AI

특징

장점

모델 개발 및 사용자 정의

인터랙티브 JupyterLab 인터페이스를 통해 AI/ML 라이브러리 및 워크벤치에 액세스합니다. 데이터 수집, 합성 데이터 생성, InstructLab 툴킷, 그리고 프라이빗 데이터 연결을 위한 검색 증강 생성(RAG)을 통합했습니다.

모델 학습 및 실험

개발 파일 및 아티팩트를 체계화합니다. 효율적인 학습 및 튜닝을 위해 분산 워크로드를 지원합니다. 실험 트래킹 및 간소화된 하드웨어 할당을 제공합니다.  

지능형 GPU 및 하드웨어 속도 

셀프 서비스 GPU 액세스를 사용할 수 있습니다. 워크로드 스케줄링, 할당량 관리, 우선순위 액세스, 하드웨어 프로필을 통한 사용 현황 보기 등을 통해 지능형으로 GPU를 사용할 수 있습니다.

AI 파이프라인

모델 제공 및 테스트를 자동화할 수 있습니다. 파이프라인의 버전을 제어하고, 트래킹 및 관리함으로써 사용자 오류가 줄고 실험 및 프로덕션 워크플로우가 간소화됩니다. 

최적화된 모델 서빙

높은 처리량과 짧은 대기 시간에 최적화된 가상 대형 언어 모델(vLLM)을 통해 다양한 제공자 및 프레임워크의 모델을 서빙합니다. llm-d 분석 추론 프레임워크가 예측 가능하고 확장 가능한 성능과 효율적인 리소스 관리를 지원합니다. LLM compressor가 제공되며, 최적화되고 검증된 일반적인 생성형 AI 모델에 액세스할 수 있습니다.

에이전틱(Agentic) AI 및 생성형 AI 사용자 인터페이스(UI)

핵심 플랫폼 서비스로 에이전틱 AI 워크플로우를 가속화합니다. 애플리케이션 프로그래밍 인터페이스(API) 계층(MCP 및 Llama Stack API)이 통합되어 있고, AI 허브 및 gen AI studio 같은 전용 대시보드 경험이 제공됩니다. 

모델 관측성 및 거버넌스 

라이프사이클 관리, 성능, 관리를 위한 일반적인 오픈소스 툴링을 제공합니다. 성능, 데이터 드리프트 및 편향 감지, AI 가드레일 또는 추론 같은 메트릭을 트래킹합니다. LLM 평가(LM Eval) 및 LLM 벤치마킹(GuideLLM)을 제공하여 실제 추론 배포를 지원합니다. 

카탈로그 및 레지스트리

예측 AI 및 생성형 AI 모델, MCP 서버와 해당 메타데이터, 아티팩트를 중앙에서 관리합니다. 

피처 스토어 

성능 향상 및 워크플로우 가속화를 위해 ML 모델에 사용할 잘 정의된 정제 데이터 피처를 관리하는 용도의 UI입니다. 

서비스형 모델

AI 엔지니어가 셀프 서비스 액세스 및 사용 현황 트래킹을 위한 관리형 내장 API 게이트웨이를 통해 모델을 사용할 수 있습니다(개발자 프리뷰 기능). 

분리된 환경 및 엣지

분리된 에어 갭(air-gap) 클러스터의 보안 및 규제 컴플라이언스를 지원합니다.