개요
쿠버네티스는 다양한 환경에서 코드의 지속적인 재생 가능성, 이식 가능성 및 확장 가능성을 실현하여 AI/ML 워크로드를 지원할 수 있습니다. 쿠버네티스는 컨테이너화된 애플리케이션을 배포하고 확장하는 데 필요한 대부분의 수동 프로세스를 제거하여 Linux 컨테이너 운영을 자동화하는 오픈소스 플랫폼입니다. 쿠버네티스는 데이터 사이언티스트에게 ML 모델을 훈련, 테스트, 배포하기 위한 민첩성과 유연성, 이식성, 확장성을 제공하므로 AI/ML 라이프사이클을 간소화하는 핵심 요소입니다.
AI/ML 개발에서 컨테이너의 역할
머신 러닝이 지원되는 애플리케이션을 빌드할 때 워크로드는 선형적으로 증가하지 않으며, 팀이 지속적 통합 및 제공(CI/CD) 작업을 수행하는 과정에서 연구, 개발 및 프로덕션 단계가 지속적으로 변화합니다. 애플리케이션의 새로운 데이터, 알고리즘 및 버전을 빌드, 테스트, 병합, 배포하는 과정에서 구성 요소의 이동이 다수 발생하므로 관리가 어려울 수 있습니다. 이러한 이유에서 컨테이너가 필요합니다.
컨테이너는 애플리케이션 실행에 필요한 모든 라이브러리 및 종속성과 함께 애플리케이션을 패키징하고 격리할 수 있는 Linux 기술입니다. 컨테이너에는 전체 운영 체제가 필요하지는 않습니다. 운영에 필요한 만큼의 정확한 구성 요소만 있으면 되기 때문에 경량화와 이식이 가능합니다. 따라서 쉽게 배포해 운영할 수 있으며 개발자는 자신이 개발한 애플리케이션이 다른 여러 플랫폼이나 운영 체제에서 똑같은 방식으로 실행된다는 확신을 갖게 됩니다.
컨테이너의 다른 이점은 담당 영역을 분리하여 개발 팀과 운영 팀 간의 충돌을 줄일 수 있다는 것입니다. 그리고 개발자가 자신의 애플리케이션에 집중하고 운영 팀이 인프라에 집중할 수 있을 때 애플리케이션이 라이프사이클 전체에 걸쳐 성장하고 발전하는 과정에서 더 원활하고 효율적으로 새로운 코드와 통합될 수 있습니다.
Red Hat 리소스
AI/ML 워크로드 측면에서 본 쿠버네티스의 장점
확장성: 쿠버네티스를 사용하면 사용자가 온디맨드로 ML 워크로드를 확장하거나 축소할 수 있습니다. 이를 통해 머신 러닝 파이프라인이 프로젝트의 다른 요소를 방해하지 않고 대규모 처리와 훈련을 수용할 수 있습니다.
효율성: 쿠버네티스는 가용성과 용량에 따라 노드에 워크로드를 예약하여 리소스 할당을 최적화합니다. 컴퓨팅 리소스가 의도대로 활용되도록 보장함으로써 사용자는 비용을 절감하고 성능을 향상할 수 있습니다.
이식성: 쿠버네티스는 표준화되고 플랫폼에 구애받지 않는 환경을 제공하며, 이를 통해 데이터 사이언티스트는 ML 모델을 개발하고 여러 환경과 클라우드 플랫폼에 배포할 수 있습니다. 따라서 호환성 문제나 벤더 종속성을 걱정할 필요가 없습니다.
내결함성: 쿠버네티스에 내장된 내결함성과 자가 치유(Self-healing) 기능을 통해 사용자는 하드웨어나 소프트웨어 장애가 발생하더라도 ML 파이프라인이 계속 실행된다는 것을 신뢰할 수 있습니다.
쿠버네티스에서 ML 모델 배포하기
머신 러닝 라이프사이클은 여러 다양한 요소들로 구성되므로, 별도로 관리할 경우 시간이 많이 걸리고 운영과 유지관리에 리소스가 지나치게 집중될 수 있습니다. 쿠버네티스 아키텍처를 통해 조직은 ML 라이프사이클의 여러 부분을 자동화할 수 있으므로 수동 개입의 필요성을 없애고 효율성을 강화할 수 있습니다.
Kubeflow와 같은 툴킷을 구현하면 개발자가 쿠버네티스에서 훈련된 ML 워크로드를 간소화하고 제공하는 데 도움이 됩니다. Kubeflow는 규모에 맞게 ML 모델을 훈련하고 배포하는 프로세스를 간소화하는 일련의 툴과 API를 제공함으로써 머신 러닝 파이프라인을 오케스트레이션하는 데 관련된 많은 과제를 해결합니다. 또한 Kubeflow는 머신 러닝 운영(MLOps)을 표준화하고 구성하는 데 도움이 됩니다.
Red Hat의 지원 방식
쿠버네티스는 AI/ML 워크로드를 간소화하는 데 도움이 되지만, 모델을 실험하고 서빙하며 애플리케이션을 제공하려면 별도의 플랫폼이 필요합니다.
Red Hat® AI는 고객이 이미 신뢰하는 솔루션을 토대로 구축된 Red Hat의 AI 제품 포트폴리오입니다. 이 기반을 통해 Red Hat 제품의 안정성, 유연성, 확장성이 유지됩니다.
Red Hat AI가 조직에 제공하는 이점은 다음과 같습니다.
- AI를 신속하게 도입하고 활용하여 빠르게 혁신
- AI 솔루션 제공의 복잡성 해소
- 어디서나 배포.
확장하는 동안 유연성 유지
Red Hat AI에는 예측 AI 모델과 생성형 AI 모델의 라이프사이클을 모두 관리할 수 있는 통합 MLOps 플랫폼인 Red Hat OpenShift® AI가 포함되어 있습니다.
이 AI 플랫폼은 온프레미스 데이터센터 또는 데이터 위치에 더 가까운 환경에서 AI/ML 워크로드를 빌드, 학습, 배포, 모니터링할 수 있는 공간을 제공합니다. 따라서 필요할 때 클라우드 또는 엣지로 운영을 더 쉽게 확장할 수 있습니다.
쿠버네티스에 Red Hat AI를 결합하면 하이브리드 클라우드 환경 전반에서 AI 애플리케이션을 제공할 때 민첩성을 유지할 수 있습니다.
솔루션 패턴: Red Hat과 NVIDIA AI Enterprise를 활용한 AI 애플리케이션
RAG 애플리케이션 구축
Red Hat OpenShift AI는 데이터 사이언스 프로젝트를 빌드하고 AI 기능을 탑재한 애플리케이션을 제공하기 위한 플랫폼입니다. 자체 참조 문서에서 AI 답변을 얻는 방법인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 지원하는 데 필요한 모든 도구를 통합할 수 있습니다. OpenShift AI를 NVIDIA AI Enterprise와 연결하면 대규모 언어 모델(Large Language Model, LLM)을 실험하여 애플리케이션에 대한 최적의 모델을 찾을 수 있습니다.
문서 파이프라인 구축
RAG를 활용하려면 먼저 문서를 벡터 데이터베이스에 수집해야 합니다. 예시 애플리케이션에서는 제품 문서 세트를 Redis 데이터베이스에 임베드합니다. 이러한 문서는 자주 변경되기 때문에, 이 프로세스에 대한 파이프라인을 구축하여 주기적으로 실행하면 항상 최신 버전의 문서를 확보할 수 있습니다.
LLM 카탈로그 살펴보기
NVIDIA AI Enterprise에서 다양한 LLM 카탈로그에 액세스하여 여러 가지 옵션을 사용해 보고 그중에서 최상의 결과를 제공하는 모델을 선택할 수 있습니다. 모델은 NVIDIA API 카탈로그에 호스팅됩니다. API 토큰을 설정한 후에는 OpenShift AI에서 바로 NVIDIA NIM 모델 서빙 플랫폼을 사용하여 모델을 배포할 수 있습니다.
적합한 모델 선택
다양한 LLM을 테스트하면서 사용자는 생성된 각 응답을 평가할 수 있습니다. Grafana 모니터링 대시보드를 설정하면 각 모델의 평점, 대기 시간, 응답 시간을 비교할 수 있습니다. 그런 다음 해당 데이터를 기반으로 프로덕션에서 사용하기에 가장 적합한 LLM을 선택할 수 있습니다.
Red Hat OpenShift Virtualization을 도입해야 하는 15가지 이유
Red Hat OpenShift Virtualization으로 가상 머신과 컨테이너에 하나의 플랫폼을 사용하여 IT 운영을 통합하고 간소화할 수 있는 방법을 알아보세요.
