쿠버네티스로 AI/ML을 지원하는 방법

쿠버네티스는 다양한 환경 전반에서 코드의 지속적인 재현 가능성, 이식 가능성 및 확장 가능성을 실현하여 AI/ML 워크로드를 지원할 수 있습니다.

머신 러닝이 지원되는 애플리케이션을 빌드할 때 워크로드는 선형적으로 증가하지 않으며, 팀이 지속적 통합 및 제공(CI/CD) 작업을 수행하는 과정에서 연구, 개발 및 프로덕션 단계가 지속적으로 변화합니다. 애플리케이션의 새로운 데이터, 알고리즘 및 버전을 빌드, 테스트, 병합, 배포하는 과정에서 구성 요소의 이동이 다수 발생하므로 관리가 어려울 수 있습니다. 이러한 이유에서 컨테이너가 필요합니다.

컨테이너는 애플리케이션 실행에 필요한 모든 라이브러리 및 종속성과 함께 애플리케이션을 패키징하고 격리할 수 있는 Linux 기술입니다. 컨테이너에는 전체 운영 체제가 필요하지는 않습니다. 운영에 필요한 만큼의 정확한 구성 요소만 있으면 되기 때문에 경량화와 이식이 가능합니다. 따라서 쉽게 배포해 운영할 수 있으며 개발자는 자신이 개발한 애플리케이션이 다른 여러 플랫폼이나 운영 체제에서 똑같은 방식으로 실행된다는 확신을 갖게 됩니다.

컨테이너의 다른 장점은 담당 영역을 분리하여 개발 팀과 운영 팀 간의 충돌을 줄일 수 있다는 것입니다. 그리고 개발자가 자신의 애플리케이션에 집중하고 운영 팀이 인프라에 집중할 수 있을 때 라이프사이클 전체에 걸쳐 애플리케이션이 성장하고 발전하면서 더 원활하고 효율적으로 새로운 코드와 통합될 수 있습니다.

쿠버네티스는 컨테이너화된 애플리케이션을 배포하고 확장하는 데 필요한 대부분의 수동 프로세스를 제거하여 Linux 컨테이너 운영을 자동화하는 오픈소스 플랫폼입니다. 쿠버네티스는 데이터 사이언티스트에게 ML 모델을 훈련, 테스트, 배포하기 위한 민첩성과 유연성, 이식성, 확장성을 제공하므로 머신 러닝 라이프사이클을 간소화하는 핵심 요소입니다.

확장성: 쿠버네티스를 사용하면 사용자가 온디맨드로 ML 워크로드를 확장하거나 축소할 수 있습니다. 이를 통해 머신 러닝 파이프라인이 프로젝트의 다른 요소를 방해하지 않고 대규모 처리와 훈련을 수용할 수 있습니다. 

효율성: 쿠버네티스는 가용성과 용량에 따라 노드에 워크로드를 예약하여 리소스 할당을 최적화합니다. 컴퓨팅 리소스를 의도한 대로 활용할 수 있어, 사용자는 비용을 절감하고 성능을 향상할 수 있습니다.

이식성: 쿠버네티스는 플랫폼에 구애받지 않는 표준화된 환경을 제공하므로 데이터 사이언티스트는 ML 모델을 개발해 이를 여러 환경과 클라우드 플랫폼 전반에 배포할 수 있습니다. 따라서 호환성 문제나 벤더 종속성을 걱정할 필요가 없습니다.

내결함성: 쿠버네티스에 내장된 내결함성과 자가 치유(Self-healing) 기능을 통해 사용자는 하드웨어나 소프트웨어 장애가 발생하더라도 ML 파이프라인이 계속 실행된다는 것을 신뢰할 수 있습니다.

머신 러닝 라이프사이클은 여러 다양한 요소들로 구성되므로, 별도로 관리할 경우 시간이 많이 걸리고 운영과 유지관리에 리소스가 지나치게 집중될 수 있습니다. 쿠버네티스 아키텍처를 통해 조직은 ML 라이프사이클의 여러 부분을 자동화할 수 있으므로 수동 개입의 필요성을 없애고 효율성을 강화할 수 있습니다. 

Kubeflow와 같은 툴킷을 구현하면 개발자가 쿠버네티스에서 훈련된 ML 워크로드를 간소화하고 제공하는 데 도움이 됩니다. Kubeflow는 규모에 맞게 ML 모델을 훈련하고 배포하는 프로세스를 간소화하는 일련의 툴과 API를 제공하여, 머신 러닝 파이프라인을 오케스트레이션할 때 수반되는 많은 문제를 해결합니다. 또한 Kubeflow는 머신 러닝 운영(MLOps)을 표준화하고 구성하는 데 도움이 됩니다.

Red Hat® OpenShift®는 쿠버네티스 기반의 업계 선도적인 하이브리드 클라우드 애플리케이션 플랫폼으로서, 테스트를 거쳐 신뢰성을 획득한 서비스를 결합하고 퍼블릭 클라우드, 온프레미스 하이브리드 클라우드 또는 엣지 아키텍처 전반에서 일관된 경험을 제공합니다.

OpenShift AI 포트폴리오에 포함된 Red Hat OpenShift Data Science는 Red Hat OpenShift에 대한 서비스로, 데이터 사이언티스트와 개발자가 지능형 애플리케이션을 구축하는 데 필요한 일관되고 강력한 인공지능 및 머신 러닝(AI/ML) 플랫폼을 제공합니다. OpenShift Data Science는 핵심 모델 구축 및 실험 외에도 모델 제공 및 모니터링을 포함한 MLOps 기능을 제공하여 모델에서 프로덕션에 이르는 과정을 가속화합니다.