LLM을 위한 확장 가능하고 비용 효율적인 미세 조정

범용 AI 활용 사례의 경우 대규모 언어 모델(LLM)의 역량이 광범위한 데이터 내의 패턴 및 관계를 이해하는 것으로 충분한 경우가 많습니다. 그러나 조직이 경쟁 우위를 확보하려면 특정 도메인 전문성, 다시 말해 조직만의 비법을 활용해야 합니다. 비즈니스의 도메인별 특성을 고려할 때 분류 체계, 기술, 지식을 충분히 활용할 수 있는 커스터마이징된 LLM이 필요합니다.

그렇다면 다음과 같은 질문을 던져야 합니다. 경쟁 우위를 확보하기 위해 특정 활용 사례, 지식 도메인, 용어, 고객 의견 등에 맞게 범용 LLM을 어떻게 조정할 수 있을까요? 그리고 어떻게 하면 비용 효율적으로 조정할 수 있나요? 소규모로 시작해서 비즈니스에 가치를 신속하고 지속적으로 제공하는 것이 이상적일 것입니다.

여기에는 프롬프트 튜닝, RAG(검색 증강 생성) 등 다양한 접근 방식이 있지만 이러한 기술의 한계를 해결하려면 특정 데이터세트 또는 태스크를 기반으로 사전 학습된 모델을 조정하여 특정 적용 상황에 대한 성능을 개선하는 프로세스인 미세 조정 방식도 살펴봐야 합니다.

그러나 다음과 같이 미세 조정 및 LLM 개선과 관련하여 몇 가지 과제가 존재합니다.

• 특정 지식 영역을 이해하기 위해 LLM을 미세 조정하려면 일반적으로 비용과 리소스가 많이 드는 학습 과정이 필요합니다.
• 일반적으로 LLM을 개선하려면 사람이 생성하여 엄선한 대규모 데이터가 필요한데, 이러한 데이터를 얻는 데 시간과 비용이 많이 소요됩니다. 또한 이러한 데이터는 보안과 개인정보 보호에 대한 우려를 초래할 수 있습니다.
• 미세 조정을 수행하려면 데이터 사이언티스트가 필요한데, 갈수록 이들의 인건비가 오르고 찾기도 어려워지고 있습니다.

Red Hat AI를 통한 문제 해결

Red Hat AI는 목적에 맞는 소형 모델, 효율적인 커스터마이징 기술, 어디서나 개발 및 배포할 수 있는 유연성을 통해 엔터프라이즈 AI 도입을 가속화합니다. Red Hat AI 포트폴리오는 Red Hat Enterprise Linux AI(RHEL AI), Red Hat OpenShift AI, 가속기, 서비스 등으로 구성된 통합 기능 세트입니다.

RHEL AI는 생성형 AI(생성 AI) 파운데이션 모델을 개발, 테스트, 실행하기 위해 개발되었으며, 개발자가 IBM의 Granite LLM을 더욱 손쉽게 실험할 수 있도록 지원하는 커뮤니티 기반 프로젝트인 InstructLab의 버전을 포함합니다.

InstructLab 소개

InstructLab(LAB)은 IBM Research의 LAB(Large-scale Alignment for chatBots) 연구를 기반으로 합니다. LAB 방식은 다음과 같은 3가지 단계로 구성됩니다.

• 데이터 큐레이션: 데이터 사이언스에 대한 교육 또는 경험이 없는 분야별 전문가를 대상으로 한 협업 방식입니다. LAB 방식을 사용하면 데이터 사이언티스트가 아닌 사람도 도메인별 지식과 기술의 엄선된 분류 체계에 기여할 수 있습니다.
• 대규모 합성 데이터 생성: 엄선된 데이터를 기반으로 더 많은 예시를 생성하는 데 모델이 사용됩니다. 이와 같은 합성 데이터를 사용하는 것은 모델에 영향을 미칠 뿐만 아니라 모델에 제공되는 도메인 지식을 확장하는 유용한 방법입니다. 또한 이 데이터 자체가 유용한 자산이며, 데이터 자동 생성은 경제적이고 더 안전할 뿐만 아니라 개인 식별 정보(PII)를 전혀 포함하지 않습니다.
• 반복적 대규모 튜닝: 마지막으로, 생성된 합성 데이터를 기반으로 모델이 재학습합니다. LAB 방식에는 지식 튜닝과 기술 튜닝이라는 튜닝의 두 가지 하위 단계가 포함됩니다.

LAB 방식을 통해 모델은 새로운 기술을 습득하는 동시에 원래의 생성 능력과 기존 LLM 학습의 정확성을 유지합니다.

작게 시작하고 점진적으로 확장

Red Hat OpenShift AI는 기업 환경에서 LAB 방식을 운영하는 플랫폼을 제공합니다. OpenShift AI는 AI 모델과 AI 지원 애플리케이션의 라이프사이클을 관리하는 데 도움이 되는 오픈소스 AI 플랫폼으로, 모델을 개발하고 기능 파이프라인, 모델 학습 및 튜닝과 같은 AI 프로세스를 자동화하기 위한 서비스를 제공합니다. 또한 OpenShift AI에는 실험 트랙킹, 모델 버전 관리, 전체적인 모니터링 등을 위한 즉시 사용 가능한 서비스가 포함되어 있습니다. OpenShift AI는 다수의 인기 있는 오픈소스 프로젝트를 활용하고 지원합니다. 특별히 Red Hat이 사용하는 LAB 방식은 다음과 같습니다. 

• 데이터 사이언스 파이프라인(DSP): 이식성과 확장성을 갖춘 AI 워크플로우를 구축 및 배포하기 위한 Kubeflow Pipelines 기반의 서비스
• Kubeflow Training Operator(KFTO): 미세 조정과 확장 가능한 분산 모델 학습을 위한 오퍼레이터

Red Hat은 전체 프로세스의 확장성, 효율성, 감사 가능성을 제고하기 위해 DSP와 KFTO를 사용하는 LAB 방식을 자동화했습니다. 

DSP를 사용하면 방향성 비순환 그래프(DAG)를 활용해 프로세스를 시각적으로 표현할 수 있는 LAB 미세 조정 프로세스를 구성할 수 있습니다. 다양한 단계와 실행 상태가 모든 이해관계자가 이해할 수 있는 인간친화적 방식으로 표시됩니다. 또한 AI 엔지니어는 OpenShift AI 대시보드에서 LAB 방식 프로세스의 진행 상황을 모니터링하고, 메트릭, 튜닝된 모델 자체 등 여러 출력을 확인할 수 있습니다. 이러한 출력은 자동으로 버전 관리가 되고 추적되므로 AI 엔지니어와 데이터 사이언티스트는 매개 변수와 리소스를 반복하고 수정하는 과정에서 모델 성능의 변화를 비교할 수 있습니다. 

KFTO와 DSP의 통합을 통해 데이터 사이언티스트와 머신 러닝 운영(MLOps) 팀은 기존 OpenShift 클러스터의 기능을 비용 효율적이고 확장 가능한 방식으로 활용할 수 있습니다. 원하는 투자 상태에 따라 조직은 학습 단계를 실행하는 데 필요한 리소스 할당량과 GPU 지원 OpenShift 작업자 노드의 개수를 구성할 수 있습니다. KFTO는 사용자를 대신해 이러한 리소스의 확장성과 효율적 사용을 관리합니다. 또한 OpenShift AI를 사용하면 분야별 전문가, 데이터 사이언티스트, AI 엔지니어 등이 맞춤형으로 조정된 UI를 통해 협업할 수 있습니다.

OpenShift 기반 데이터 사이언스 파이프라인(DSP)에 대해 자세히 알아보고, Red Hat Developer 블로그에 있는 Kubeflow Training Operator로 LLM을 미세 조정하는 방법을 읽고 확장 가능한 미세 조정을 시작하세요.