생성형 AI의 미래를 위한 운영자 기반 구축

GenAI(생성형 인공지능)가 계속해서 대중의 주목을 받으면서 그 어느 때보다 분명한 사실은 혁신 속도가 더 빨라지고 있다는 것입니다. 혁신은 GenAI 모델 자체의 혁신적 개선뿐만 아니라 이러한 모델을 기업에 맞게 조정하는 지원 기술에서도 이루어집니다. RAG(Retrieval Augmented Generation, 검색 증강 생성)은 LLM(대규모 언어 모델)에 조직의 데이터를 통합하는 데 선호되는 접근 방식이며 미세 조정(fine-tuning)을 대체했습니다.

GenAI가 빠르게 변화함에 따라 많은 조직은 하이퍼스케일러와 같은 AI 플랫폼 벤더에 대규모 베팅을 하는 위험을 감수하고 AI 플랫폼을 위한 단일 기본 클라우드에 올인해야 한다고 생각합니다. 이러한 기업 중 다수는 모델 구축 및 보강을 위한 핵심 기능을 제공하고, AI 지원 애플리케이션에서 이를 제공하고, 모델을 관리 및 모니터링하기 위해 GenAI와 예측 AI 모두에 필요한 일관되고 유연한 기본 AI 기반을 모색하고 있습니다. 기업은 이러한 접근 방식을 통해 온프레미스, 다양한 클라우드 플랫폼 또는 엣지에서 실행할 수 있을 만큼 충분히 유연한 AI 플랫폼을 도입함으로써 벤더 종속성의 위험을 완화할 수 있습니다. 이를 인해 조직은 GenAI의 진화에 따라 전환하고 적응할 수 있습니다. 

 Red Hat OpenShift AI를 완전한 매니지드 클라우드 서비스로 출시하기 전에는 초기 베타 릴리스 고객이 이 제품의 온프레미스 버전에 큰 관심을 보였습니다. 현재 Red Hat OpenShift AI 고객의 80% 이상이 온프레미스 사용을 위해 자체 관리형 버전을 도입하고 있습니다.  Red Hat OpenShift의 애드온인 Red Hat OpenShift AI는 온프레미스와 모든 주요 퍼블릭 클라우드, 심지어 엣지에서도 실행되는 선도적인 애플리케이션 플랫폼으로, 대부분의 Red Hat OpenShift 기반 기능을 포함합니다. AI를 애플리케이션 환경의 확장 프로그램으로 취급하면 개발자와 데이터 사이언티스트 모두의 효율성을 개선할 수 있습니다. 

Red Hat OpenShift AI 기능 요약

GenAI 및 예측 AI를 위한 단일 플랫폼인 Red Hat OpenShift AI의 일부 기능을 요약해 보겠습니다.

모델 학습 - 프로젝트

Red Hat OpenShift AI는 여러 개의 워크벤치 이미지와 관리 사용자 인터페이스를 통해 사용자 정의 이미지를 추가하는 기능을 제공합니다. 사용자는 프로젝트 UI(사용자 인터페이스)를 통해 지정된 프로젝트에 필요한 모델 개발 파일, 데이터 연결 및 기타 아티팩트를 구성할 수 있습니다. 모델 개발 파일은 즉시 사용 가능한 워크벤치 이미지나 사용자 정의 워크벤치 이미지에서 생성할 수 있는데, 이러한 이미지는 Jupyter Notebook, PyTorch, RStudio를 포함하여 널리 사용되는 라이브러리, 패키지, 툴에 대한 액세스를 제공합니다. 프로젝트는 동료와의 협업을 위해 특정 권한을 사용하여 공유할 수 있습니다. 또한 프로젝트를 사용하면 클러스터 스토리지를 구성하여 프로젝트 데이터를 저장하고, AI 라이프사이클에 기여하는 데이터 사이언티스트, 개발자 및 기타 사용자를 위한 파이프라인, 모델 서빙, 모니터링 등의 기능에 액세스할 수 있습니다.

모델 학습 - 분산 워크로드

분산 모델 학습은 더 빠르고 효율적인 모델 학습을 위해 여러 클러스터 노드를 동시에 활용하는 방법입니다. 이 접근 방식은 예측 AI 학습과 GenAI 학습 및 튜닝 활용 사례 모두에 사용할 수 있으므로 계산상 실행 불가능한 태스크도 수행할 수 있습니다.

Red Hat OpenShift AI에 구축된 분산 워크로드 스택에는 학습 및 검증 기술과 튜닝 및 추론 기술이 포함됩니다. CodeFlare는 작업 오케스트레이션 및 모니터링을 간소화하는 학습 스택을 위한 사용자 친화적인 프레임워크를 제공합니다. 분산 워크로드를 위한 Ray와 작업 스케줄링 및 큐잉을 위한 Kueue와 같은 기술과 통합됩니다.

분산 워크로드 기능은 고급 가속기 지원을 통해 노드 활용도를 최적화할 수 있도록 원활한 통합을 제공합니다. 작업은 대화형 및 배치 방식으로 우선순위를 지정하고 배포할 수 있습니다. 또한 데이터 사이언스 파이프라인 내에서 분산 워크로드를 사용하여 향상된 컴퓨팅 기능을 활용할 수 있습니다.

GPU 및 가속기

Red Hat OpenShift AI의 가장 가치 있는 기능 중 하나는 GPU 액세스의 셀프 서비스 특성입니다. ITOps 직원은 데이터 사이언티스트와 애플리케이션 개발자가 프로젝트 태스크를 위한 구성을 쉽게 선택할 수 있도록 온프레미스와 클라우드 모두에서 GPU 리소스 환경을 용이하게 사전 정의할 수 있습니다. 이 제품은 NVIDIA GPU, Intel Habana Gaudi 장치, AMD GPU 등 다양한 가속기를 지원합니다. 가속기 프로필 기능을 사용하면 관리자가 워크로드에 가장 적합한 다양한 유형의 가속기를 구성할 수 있습니다. 사용자는 Red Hat OpenShift AI의 모델 개발 및 서빙 사용자 인터페이스 모두에서 가속기를 선택할 수 있습니다.

데이터 사이언스 파이프라인

데이터 사이언스 파이프라인의 구성 요소는 머신 러닝 학습에 맞게 조정되고 KubeFlow 파이프라인을 기반으로 하는 파이프라인 툴로, 데이터 사이언티스트가 개발 및 프로덕션 단계에서 모델을 제공하고 테스트하는 단계를 자동화하는 데 사용할 수 있습니다. 샘플 파이프라인은 데이터를 수집하고, 처리하고, 모델을 학습시키고, 기존 모델을 다운로드하고, 새 모델과 비교하고, 성능이 더 나은 경우 새 모델을 DevTest로 내보내는 데 사용할 수 있습니다. 파이프라인은 기타 AI 프로젝트 아티팩트와 마찬가지로 버전 관리, 추적, 관리가 가능합니다. 또한 드래그 앤 드롭 인터페이스를 통해 이러한 파이프라인을 생성하고 자동화할 수 있는 그래픽 편집기가 제공됩니다. 데이터 사이언스 파이프라인은 분산 워크로드도 실행할 수 있습니다.

모델 서빙

모델 서빙 UI는 Red Hat OpenShift AI 대시보드 및 프로젝트 UI에 직접 통합되어 Hugging Face, ONNX, PyTorch, TensorFlow 등과 같은 공급업체 및 프레임워크의 모델을 서빙합니다. 사용자는 KServe 또는 ModelMesh 기반의 모델 서빙 플랫폼을 선택하거나, Red Hat OpenShift AI와 함께 제공되는 다양한 모델 서버 및 런타임 중에서 선택하거나, NVIDIA Triton과 같은 사용자 정의 추론 엔진 또는 런타임을 통합할 수 있습니다. CPU 및 GPU와 같은 클러스터 리소스는 워크로드 요구 사항에 따라 확장할 수 있습니다. 향상된 모델 서빙 스택은 KServe, Caikit, vLLM, TGIS와 같은 오픈소스 기술을 활용하여 모델 서빙 작업을 지원합니다.

모델 모니터링

모델 모니터링 UI 대시보드는 운영 지향적인 사용자가 모델 서버 및 배포된 모델에 대한 운영 및 성능 지표를 모니터링하는 데 도움이 됩니다. 모델 모니터링 시각화에는 성공 및 실패한 추론 요청 수, 평균 추론 응답 시간, 특정 컴퓨팅 사용률과 같은 지표가 포함됩니다. 이 데이터는 시간이 지나면서 요청 수와 평균 응답 시간이 증가하는 경우 사용자가 컴퓨팅 리소스 추가와 같은 적절한 조치를 취하도록 안내하는 데 도움이 될 수 있습니다.

기술 파트너 통합

Red Hat은 이전에 Red Hat OpenShift AI 제품에 Starburst, Anaconda, Pachyderm, NVIDIA, Intel과 같은 벤더를 직접 통합한 것 외에도 AMD, Elastic, Run:ai, Stability AI 등 다른 업체와 협업하며 광범위한 GenAI 활용 사례에 확장된 통합을 제공합니다.

하드웨어 플랫폼 측면에서 Red Hat은 Red Hat OpenShift AI에서 Intel® Enterprise AI 및 NVIDIA NIM 마이크로서비스와의 통합과 최적화된 지원을 발표했습니다. Dell은 Red Hat OpenShift AI로 AI 활용 사례를 처리하기 위해 Dell APEX Cloud Platform for Red Hat OpenShift에 향상된 기능을 도입했습니다. 또한 Cisco는 Red Hat OpenShift AI에서 MLOps를 위한 Cisco Validated Design을 개발했습니다.

Red Hat OpenShift AI는 IBM watsonx.ai의 기본 구성 요소로, GenAI 워크로드를 위한 기본적인 AI 툴링과 서비스를 제공합니다. Watsonx.ai는 AI 빌더가 코드 요구 사항이 적거나 코드 요구 사항이 없는 GenAI 애플리케이션, 사용하기 쉬운 모델 개발 워크플로우, IBM 기반 모델과 큐레이션된 오픈소스 모델로 구성된 라이브러리에 대한 액세스를 구현할 수 있도록 엔터프라이즈 스튜디오를 제공합니다. Red Hat OpenShift 및 Red Hat OpenShift AI는 watsonx.ai 소프트웨어를 위한 임베디드 기술 전제 조건에 해당합니다.

분리된 환경

대부분의 Red Hat OpenShift AI 고객에게는 보안 및 규제 컴플라이언스 문제로 인해 분리된 배포가 필요합니다. 정부 기관부터 금융 서비스, 의료, 제조 분야에 이르는 다양한 조직에서 에어 갭(air-gap) 설치에 대한 지원을 요구하고 있습니다. 연결이 끊긴 클러스터는 일반적으로 방화벽 뒤에 제한된 네트워크에 있습니다. 이로 인해 배포가 훨씬 더 까다롭고 이미지를 미러링하기 위해 프라이빗 레지스트리를 지원하는 기능이 필요합니다.

엣지

가장 중요한 AI 플랫폼 테스트 중 하나는 엣지 환경을 지원하는 능력입니다. 엣지에서 서빙되는 Red Hat OpenShift AI 모델은 AI 모델 배포를 원격 위치로 안전하고 일관되며 규모에 맞게 확장합니다.  엣지에서 모델을 서빙하면 엣지에 모델을 배포하는 프로세스를 간소화하고, 환경 전반에서 일관성을 높이고, 엣지에서 추론 프로세스를 보호할 수 있습니다. 이 기능은 단일 노드의 Red Hat OpenShift에서만 사용할 수 있습니다.

자체 클러스터에서 Red Hat OpenShift AI를 직접 사용해 보려면 여기를, GenAI 및 예측 AI의 패턴, 데모, 레시피에 대해 자세히 알아보려면 여기를, GenAI를 위한 운영 기반을 구축하는 방법을 확인하려면 여기를 클릭하세요.