매개 변수 효율적인 미세 조정(PEFT)이란?

대규모 언어 모델(LLM)을 작동할 때는 컴퓨팅 리소스와 비용이 소요됩니다. 매개 변수 효율적인 미세 조정(PEFT)은 리소스를 절약하기 위해 LLM 내에서 일부 매개 변수만 조정하는 기술입니다. 

PEFT를 활용하면 LLM 커스터마이징에 대한 접근성을 높이는 동시에 기존 미세 조정된 모델과 견줄 만한 결과를 만들 수 있습니다. 

Red Hat AI 살펴보기

미세 조정과 PEFT는 둘 다 LLM 조정 기술입니다. 이 둘은 원하는 결과를 출력하기 위해 원하는 데이터를 사용하여 LLM을 조정하고 LLM에 정보를 제공합니다. 기존 미세 조정 기술이 진화하여 PEFT가 된 것입니다.

기존 미세 조정의 경우 전체 모델을 학습시켜 LLM을 조정합니다. 그러려면 컴퓨팅 리소스, 데이터, 시간이 많이 필요합니다. 

이에 반해 PEFT는 모델 내에서 일부 매개 변수만 수정하므로 리소스가 부족한 조직이 접근하기에 일반적으로 더 쉽습니다. 

PEFT는 소규모 하드웨어에서 대규모 모델을 더 빠르게 학습시킬 수 있다는 장점을 제공합니다. 

PEFT의 주요 장점은 다음과 같습니다.

• 학습 속도 개선: 업데이트되는 매개 변수가 적을수록 실험 및 반복 속도가 향상됩니다.
• 리소스 효율성 증대: PEFT는 기존 미세 조정보다 GPU 메모리를 훨씬 덜 사용하며 소비자급 하드웨어에서 실행이 가능합니다. 즉, 전용 서버 없이도 노트북에서 얼마든지 LLM을 학습시킬 수 있습니다.
• 파괴적 망각 해결 역량: 파괴적 망각은 모델이 새로운 학습 데이터를 제공받을 때 이미 학습한 지식을 망각하는 현상을 말합니다. PEFT는 전체 모델이 아닌 소수의 매개 변수만 업데이트하므로 파괴적 망각을 방지하는 데 도움이 됩니다.
• 이식성: PEFT로 조정된 모델은 규모가 더 작고, 관리가 더 간편하며, 플랫폼 전반에 배포하기가 더 쉽습니다. 그렇기 때문에 운영 환경에서 모델을 더 쉽게 업데이트하고 개선할 수 있습니다.
• 지속 가능성: PEFT는 컴퓨팅 리소스를 적게 사용하므로 친환경적인 운영 목표에 부합합니다.
• 접근 가능성 향상: 컴퓨팅 리소스가 부족한 팀과 조직도 모델을 미세 조정하고 원하는 결과를 실현할 수 있습니다.

LLM은 여러 신경망 계층으로 구성됩니다. 이러한 계층을 입력층에서 시작하여 출력층으로 끝나는 흐름도라고 생각해 보세요. 이러한 2개의 계층 사이에는 다른 여러 계층이 끼어 있어서 각각 신경망을 통과하는 데이터를 처리하는 일을 담당합니다.

언어 모델이 정보를 처리하는 방식을 조정하려면 매개 변수를 변경하면 됩니다. 

PEFT 기술: GPU로 LLM을 최적화하는 방법

LLM에서 매개 변수란?

매개 변수(가중치라고도 함)는 LLM의 언어 이해 능력을 결정합니다. 

매개 변수를 어떤 기계에 포함된 조정 가능한 기어라고 생각해 보세요. 각 매개 변수에는 특정 수치가 있으며, 이것이 변경되면 모델이 언어를 해석하고 생성하는 능력이 달라집니다. 

하나의 LLM에 수십억 개에서 수천억 개의 매개 변수가 포함될 수 있습니다. 모델에 포함된 매개 변수가 많을수록 모델은 더 복잡한 태스크를 수행할 수 있습니다. 

그러나 모델의 매개 변수가 늘어날수록 필요한 하드웨어 리소스도 증가합니다. 조직이 하드웨어 요구 사항에 이만큼 투자할 여력이 없을 수 있으므로 PEFT와 같은 조정 기술은 매우 중요합니다. 

모델 효율성을 높이기 위해 정확성을 유지하면서 불필요한 매개 변수를 제거하는 방법을 알아보세요.

매개 변수의 효율적인 미세 조정

PEFT는 전략적으로 소수의 매개 변수만 수정하는 동시에 사전 학습된 모델의 구조를 대부분 유지합니다. 이러한 방식으로 조정하는 예시는 다음과 같습니다.

모델 계층 동결(freezing): 추론 단계에서는 연산 결과가 신경망의 모든 계층을 통해 전송됩니다. 이러한 계층 중 일부를 동결하면 연산을 수행하는 데 필요한 처리 능력을 어느 정도 절약할 수 있습니다. 

어댑터 추가: 어댑터는 보드게임의 확장팩처럼 생각하면 됩니다. 어댑터는 사전 학습된 모델 내 계층의 가장 상단에 추가되며 도메인별 또는 애플리케이션별 정보를 학습합니다. 이 시나리오에서는 원래 모델이 변경되지 않으면서 새로운 기능을 확보하게 됩니다. 

PEFT는 다음을 포함한 여러 방식으로 기능할 수 있습니다.

• LoRA(Low-rank adaptation)
• QLoRA(Quantized low-rank adaptation)
• 접두사 조정
• 즉각적인 조정
• P-튜닝

LoRA와 QLoRA를 비교하여 자세히 알아보기

미세 조정(fine-tuning)은 의도를 LLM에 전달하여 모델이 목표에 맞게 결과를 조정할 수 있도록 하는 방법입니다.

어떤 LLM이 셰익스피어의 문체로 이메일을 작성할 수는 있지만 귀사에서 제공하는 제품의 상세 정보는 전혀 모른다고 생각해 보세요.

이때 미세 조정을 사용하면 고유 정보로 모델을 학습시킬 수 있습니다. 

미세 조정은 사전 학습된 모델이 고유의 태스크를 효과적으로 수행할 수 있도록 맞춤형 데이터세트를 사용해 추가로 학습하는 프로세스입니다. 이 추가 학습 데이터를 통해 모델의 매개 변수를 수정하고 원래 모델을 대체하는 새로운 버전을 만들 수 있습니다.

미세 조정은 도메인별 활용 사례에 맞게 LLM을 맞춤화하는 데 매우 중요한 역할을 합니다. 그런데 기존 미세 조정에는 많은 비용이 요구됩니다. 

미세 조정의 비용이 높은 이유

LLM의 미세 조정 비용이 높은 이유는 다음과 같습니다.

• GPU 요구 사항: 미세 조정에는 높은 처리 능력이 필요합니다. 그래픽 처리 장치(GPU)는 구매와 작동에 많은 비용이 들며, 미세 조정 프로세스가 진행될 때 오랜 시간 동안 실행되어야 합니다. 전력 소비량과 쿨링에 소모되는 전력 역시 비용 면에서 비효율적일 수 있습니다.
• 데이터 요구 사항: 새로운 정보로 LLM을 미세 조정하는 데 필요한 데이터세트는 품질이 높아야 하고 적절하게 레이블링되어야 합니다. 이러한 데이터의 획득, 구축, 사전 처리에는 많은 비용과 시간이 소요될 수 있습니다. 

LLM 조정이란 원하는 결과를 출력하기 위해 언어 모델을 학습시키고 개인 맞춤화하는 프로세스를 가리킵니다.

여러 LLM 조정 기술 중에서 선택할 때는 다음 요소를 고려하세요.

• 데이터 종속성: 얼마나 많은 데이터가 필요한가? 이 기술을 사용할 때 필요한 데이터에 액세스할 수 있나?
• 정확성: 이 기술은 조정이 끝나면 모델의 정확성에 얼마나 많은 영향을 미치는가?
• 사용의 복잡성: 사용하기 간편한 기술인가?

기존 미세 조정에 비해 PEFT는 데이터 사용량이 적고, 정확도가 매우 높으며, 사용자 친화적입니다. 

다음과 같은 다른 LLM 조정 옵션도 살펴보세요.

• 검색 증강 생성(RAG): RAG는 데이터 리포지토리, 텍스트 모음, 기존 도큐멘테이션과 같이 사용자가 원하는 대로 선택한 외부 지식 소스를 통해 LLM 내에 존재하는 데이터를 보완하는 수단을 제공합니다.
  • RAG는 데이터 종속성이 높지만 정확도가 높고 미세 조정보다 사용하기가 덜 복잡합니다. RAG와 미세 조정(fine-tuning)의 비교 내용을 확인하세요.
• InstructLab: IBM과 Red Hat이 만든 InstructLab 커뮤니티 프로젝트는 조직의 구성원이라면 누구든지 지식과 기술을 기여하여 언어 모델을 구축할 수 있도록 지원합니다.
  • InstructLab의 경우 합성 데이터를 사용하여 인간이 생성한 데이터를 보완하므로 데이터 종속성이 낮습니다. 또한 정확도는 미세 조정에 견줄 만하며 복잡하지 않아 사용하기가 매우 쉽습니다. 

매개 변수 효율적인 미세 조정은 Red Hat® OpenShift® AI에서 지원되는 여러 조정 기술 중 하나입니다.

OpenShift AI는 유연하고 확장 가능한 MLOps 플랫폼으로, AI 지원 애플리케이션을 빌드, 배포, 관리할 수 있는 툴을 제공합니다. OpenShift AI는 온프레미스 및 퍼블릭 클라우드에서 AI/ML 실험 및 모델의 전체 라이프사이클을 지원합니다.

Red Hat OpenShift AI에 대해 자세히 알아보기

Red Hat® AI는 AI 여정의 초기 단계에 있는 기업이든, 하이브리드 클라우드 전반으로 확장할 준비까지 마친 기업이든 상관없이 AI 여정에 오른 기업이라면 모두 도움을 줄 수 있는 제품 및 서비스의 포트폴리오입니다. 고유한 엔터프라이즈 활용 사례에 대한 생성형 AI와 예측 AI를 둘 다 지원할 수 있습니다.

Red Hat AI는 오픈소스 기술과 다양한 인프라 전반에서 성능, 안정성, GPU 지원에 초점을 맞춘 파트너 에코시스템을 기반으로 합니다. Red Hat AI는 데이터가 있는 모든 위치에 배포할 수 있는 유연성을 바탕으로 목적에 맞는 소규모 모델을 효율적으로 조정합니다.