MLflow란?

MLflow는 개발자가 초기 실험 단계부터 실제 배포까지 머신 러닝(ML) 및 AI 프로젝트를 체계적으로 관리할 수 있도록 지원하는 툴입니다. 기존의 예측 모델부터 현대적인 AI 에이전트에 이르기까지 전체 라이프사이클을 추적, 감사, 관리할 수 있는 통합 플랫폼을 제공합니다. 

MLflow는 오픈소스이자 벤더 중립적인 툴로 로컬 환경이나 원하는 클라우드 공급업체에서 실행할 수 있으며 대부분의 주요 ML 프레임워크와 통합됩니다. 이러한 유연성 덕분에 MLflow는 개인 개발자와 기업 모두에서 널리 사용되고 있습니다.

Red Hat AI 살펴보기

생성형 AI가 등장하기 전에는 머신 러닝이 예측, 플래그 지정, 데이터 분류와 같은 예측 태스크에 주로 활용되었습니다. 당시에도 데이터 사이언스 팀에는 실험을 추적하고 모델을 배포할 수 있는 표준 툴이 부족했습니다. 대신 모델 이터레이션은 스프레드시트, 개인 메모, 서로 연결되지 않은 스크립트에 흩어져 추적되었습니다. 

대형 기술 기업은 자체 독점 시스템을 사용할 수 있었지만 오픈소스 대안은 존재하지 않았습니다. 그 결과 많은 프로젝트가 실험 단계에서 실제 운영 단계로 성공적으로 전환되지 못했습니다. 

Databricks는 이 문제를 해결하기 위해 MLflow를 개발한 후 Linux® Foundation에 기증했습니다. 이를 통해 기술 업계는 ML 라이프사이클의 각 단계를 지원하는 오픈소스 툴 컬렉션을 활용할 수 있게 되었습니다.

• 테스트 단계: MLflow는 여기저기 흩어진 수동 메모를 대체하고 트랙킹 기능과 프롬프트 레지스트리를 제공하여 모든 매개 변수 변경, 코드 버전, 업데이트를 기록합니다. 생성형 AI 애플리케이션의 경우 팀은 프롬프트 레지스트리에서 다양한 프롬프트를 테스트할 수 있습니다. 이를 통해 실제 운영에 들어가기 전에 자동 평가(또는 LLM-as-a-Judge)를 실행하여 생성된 출력의 정확성과 환각 리스크를 평가할 수 있습니다. 
• 핸드오프 단계: MLflow는 수동 핸드오프를 대체하고 코드를 표준화된 컨테이너로 패키징하여 어떤 환경에서도 동일하게 실행되도록 합니다. 모델 레지스트리는 버전 기록과 테스트에서 프로덕션으로 이동하는 자산의 승인 내역을 관리하는 최종 기록 역할을 합니다.
• 출시 단계: 레지스트리에서 모델이 승인되면 MLflow는 저장된 자산을 표현 상태 전송 애플리케이션 프로그래밍 인터페이스(REST API) 또는 표준 컨테이너로 변환하여 애플리케이션이나 서버에 더 빠르게 통합할 수 있도록 합니다. 생성형 AI 애플리케이션에서는 AI 게이트웨이가 트래픽 컨트롤러 역할을 하며 API 키를 관리하고 데이터를 라우팅합니다. 
• 모니터링 단계: MLflow는 실제 운영 중인 출력의 정확성을 측정하고 에이전트의 다단계 추론 과정을 검사할 수 있는 추적 및 평가 툴을 제공합니다.

데모 보기: MLflow를 활용한 에이전틱 추적 및 관측성

MLflow는 기존 ML과 현대적인 생성형 AI에 사용할 수 있는 툴을 중심으로 기능을 구성합니다.

기존 ML 및 딥러닝을 위한 기능

• 모델 트랙킹: 테스트 및 연구 과정에서 모델을 학습할 때마다 코드 버전, 매개 변수, 성능 메트릭, 차트를 자동으로 기록하는 로그입니다. 
• 모델 패키징: 어떤 환경에서도 모델이 예측 가능하게 실행될 수 있도록 모델과 실행에 필요한 모든 소프트웨어 종속성을 함께 묶는 표준화된 패키징 형식입니다. 
• MLflow 모델 레지스트리: 프로젝트가 성숙 단계에 접어들면서 승인 및 전환을 추적하는 중앙 허브입니다. 모델 레지스트리는 정보 소스가 되며 감사 가능성을 위해 원래 실험(모델 트랙킹)으로 연결되는 링크도 제공합니다.
• 모델 배포: 저장된 모델을 웹 친화적인 서비스(REST API), 컨테이너 또는 추론 파이프라인으로 변환하는 서빙 툴 세트입니다. 
• 모델 평가: 학습된 모델의 정확도 메트릭을 자동으로 계산하고 성능 차트를 생성하는 프레임워크입니다. 

생성형 및 에이전틱 AI를 위한 기능

• MLflow 추적: 입력, 출력, 툴 선택, 토큰 비용을 로깅하여 AI 에이전트의 '사고 과정'을 시각화하는 OpenTelemetry 호환 관측성 툴입니다. 
• LLM 평가: 'LLM-as-a-Judge'라고도 하며 보조 언어 모델을 사용하여 프로젝트에서 생성된 답변의 품질을 확인합니다. 편향을 테스트하고 모델 출력에 가드레일을 유지할 수 있습니다. 
• MLflow 프롬프트 레지스트리: 프롬프트 템플릿을 추적, 관리, 정리하기 위한 전용 작업 공간입니다. 
• MLflow AI 게이트웨이: API 키와 외부 공급업체를 통해 이동하는 데이터를 추적하고 라우팅하는 중앙 허브입니다. 예산을 관리하고 속도 제한을 적용하는 데 도움이 됩니다. 
• MLflow MCP 서버: AI 애플리케이션과 코딩 어시스턴트가 모델 컨텍스트 프로토콜(MCP)을 사용하여 외부 데이터 소스 및 툴과 상호작용할 수 있도록 하는 연결 지점입니다. 

MLflow는 프레임워크 중립적으로 설계되어 개발자나 데이터 사이언티스트가 사용하려는 거의 모든 툴과 함께 사용할 수 있습니다. PyTorch, LangChain, Docker 등 널리 사용되는 다양한 프레임워크를 MLflow 라이프사이클 전반에 통합할 수 있습니다. 

MLflow에서 AI 관측성이 작동하는 방식 알아보기

MLflow는 개발자와 데이터 사이언티스트의 업무를 간소화할 뿐만 아니라 엔터프라이즈 AI 솔루션을 개발하는 IT 리더에게도 유용합니다. MLflow는 백그라운드에서 거버넌스를 지원하여 사용자 개인정보를 보호하고, 릴리스 전에 오류를 발견하며, 안정적인 가동 시간을 유지하는 데 도움이 됩니다. 이를 통해 IT 의사 결정자는 다음과 같은 주요 영역에서 AI 인프라를 제어할 수 있습니다. 

• 디지털 주권: 기업은 MLflow를 온프레미스, 프라이빗 클라우드 네트워크 또는 에어 갭 시스템에 완전히 호스팅할 수 있습니다. 민감한 데이터를 타사 벤더를 통해 외부로 전송하지 않고 조직의 보안 경계 내부에 유지할 수 있습니다. 
• 규제 컴플라이언스: 금융, 의료, 법률 등의 일부 산업에서는 자동화된 의사 결정의 모든 단계를 추적할 수 있어야 합니다. MLflow는 이러한 정보를 기록하고 전체 감사 추적과 계보 메타데이터를 제공하여 컴플라이언스 팀이 출력이 생성된 과정을 명확하게 파악할 수 있도록 합니다. 이러한 투명성은 설명 가능한 AI 및 소버린 AI 관련 활동에 도움이 될 수 있습니다. 
• 중앙화된 비용 제어: IT 팀은 AI 게이트웨이를 통해 모든 외부 AI 트래픽, 즉 에이전트, 언어 모델, 외부 툴 간에 오가는 모든 트래픽을 하나의 체크포인트로 라우팅할 수 있습니다. 이를 통해 조직은 예산 한도를 설정하고, API 키와 MCP 연결을 관리하고, 팀별 비용을 추적할 수 있습니다.

Red Hat® AI는 vLLM 기반 서버로 신속하고 유연하며 효율적인 추론 성능을 제공합니다. 모델과 데이터를 안정적으로 연결하여 하나의 플랫폼에서 전문 에이전트의 사용자 지정 및 개발을 통합합니다. 오픈소스 기반의 당사 제품으로 규모와 상관없이 AI 워크플로우의 모든 과정을 완전히 제어할 수 있습니다. 

Red Hat AI Portfolio에 Red Hat AI Enterprise가 포함됩니다. Red Hat AI Enterprise는 모든 인프라에서 AI 추론, 에이전틱 AI 워크플로우, AI 기반 애플리케이션을 배포, 관리, 확장할 수 있는 플랫폼입니다.

Red Hat AI 살펴보기