AI를 위한 기반 모델이란?

파운데이션 모델이란 다양한 작업을 수행할 수 있도록 사전에 학습된 ML(Machine Learning, 머신 러닝) 모델의 한 유형을 말합니다. 

최근까지 AI(Artificial Intelligence, 인공지능) 시스템은 특정 애플리케이션이나 단일 활용 사례에 사용하기 위해서 ML 모델을 학습시켜야 하는 특화된 도구였습니다. 베이스 모델(base model)이라고도 알려진 파운데이션 모델이라는 용어는 전문가들이 머신 러닝 분야 내의 다음 두 가지 동향에 주목하면서 널리 사용되기 시작했습니다.

1. 소수의 딥러닝 아키텍처가 다양한 작업에 대한 결과를 얻는 데 사용되고 있었습니다.
2. 학습 시 의도하지 않았던 새로운 개념이 AI 모델에서 발생할 수 있습니다. 

IBM의 granite 모델 등의 기반 모델은 패턴, 구조, 표현에 대한 일반적인 컨텍스트 이해와 함께 작동하도록 프로그래밍되었습니다. 패턴을 전달하고 식별하는 방법에 대한 이와 같은 근본적인 이해는 향후 수정 또는 미세 조정을 거쳐 거의 모든 업계에서 영역별 작업을 수행할 수 있는 지식의 기준을 생성합니다.

Red Hat AI 살펴보기

파운데이션 모델이 기능을 수행하도록 지원하는 두 가지 뚜렷한 특징은 전이 학습과 스케일링입니다. 전이 학습은 한 상황에 대한 정보를 다른 상황에 적용하고 내부 "지식"을 기반으로 구축하는 모델의 기능을 가리킵니다. 

 스케일은 하드웨어, 특히 그래픽 처리 장치(GPU)를 가리키며, 모델이 병렬 처리라고도 하는 여러 계산을 동시에 수행할 수 있도록 합니다. GPU는 데이터를 빠르게 처리하고 복잡한 통계적 계산을 수행하는 능력을 제공하기 때문에 파운데이션 모델을 비롯하여 딥러닝 모델을 학습시키고 배포하는 데 중요한 역할을 합니다.

규모와 훈련 모두 AI 추론을 실행하는 데 도움이 됩니다. AI 추론 은 AI의 운영 단계로, 모델은 훈련을 통해 학습한 내용을 적용하고 실제 상황에 적용할 수 있습니다.

딥러닝과 파운데이션 모델
많은 파운데이션 모델, 특히 NLP(Natural Language Processing, 자연어 처리), 컴퓨터 비전, 오디오 처리에 사용되는 파운데이션 모델은 딥러닝 기술을 사용하여 사전에 학습됩니다. 딥러닝은 전체는 아니지만 다수의 파운데이션 모델을 뒷받침하는 기술로, 관련 분야에서 상당한 기술 발전을 이끌어 온 원동력이기도 합니다. 딥 뉴럴 러닝 또는 딥 뉴럴 네트워킹이라고도 하는 딥러닝은 컴퓨터가 인간이 지식을 얻는 방식을 모방하여 관찰을 통해 학습하도록 가르칩니다. 

트랜스포머 및 기반 모델
모든 기반 모델이 트랜스포머를 사용하는 것은 아니지만, 트랜스포머 아키텍처는 ChatGPT, BERT, DALL-E 2와 같은 텍스트를 포함하는 기반 모델을 구축하는 데 널리 사용되는 방법으로 입증되었습니다. 트랜스포머는 ML 모델이 데이터 시퀀스의 요소 간 컨텍스트 관계 및 종속성을 캡처할 수 있도록 하여 ML 모델의 기능을 향상합니다. 트랜스포머는 일종의 ANN(Artificial Neural Network, 인공 신경망)이며 NLP 모델에 사용되지만, 특이하게도 컴퓨터 비전이나 음성 처리 모델을 사용하는 ML 모델에는 보통 사용되지 않습니다.

파운데이션 모델을 학습시킨 이후에는 방대한 데이터 풀에서 얻은 지식을 문제 해결에 활용할 수 있으며, 이러한 기술은 다방면으로 조직에 귀중한 인사이트와 기여를 제공할 수 있습니다. 파운데이션 모델이 수행할 수 있는 일반적인 작업은 다음과 같습니다.

자연어 처리
NLP를 학습하여 맥락, 문법, 언어적 구조를 인식하는 파운데이션 모델은 학습한 데이터로부터 정보를 생성하고 추출할 수 있습니다. 텍스트와 정서(긍정적, 부정적, 중립)를 연계하도록 학습시켜 NLP 모델을 더욱 미세하게 조정하면 고객 피드백, 온라인 리뷰 또는 소셜 미디어 게시물과 같은 글로 작성된 메시지를 분석하는 기업이 유용하게 활용할 수 있습니다. NLP는 대규모 언어 모델(LLM) 개발 및 적용을 포괄하는 광범위한 분야입니다.

컴퓨터 비전
모델이 기본적인 모양과 특징을 인식할 수 있게 되면 패턴을 식별하기 시작합니다. 컴퓨터 비전 모델을 더욱 미세하게 조정하면 콘텐츠 조정, 얼굴 인식, 이미지 분류를 자동화할 수 있습니다. 또한 학습한 패턴을 바탕으로 새로운 이미지를 생성할 수도 있습니다. 

오디오/음성 처리
모델이 음성 요소를 인식할 수 있게 되면 사람의 목소리에서 의미를 끌어낼 수 있어 더 효율적이고 폭넓은 커뮤니케이션이 가능해집니다. 가상 비서, 다국어 지원, 음성 명령, 전사와 같은 기능은 접근성과 생산성을 높입니다. 

추가 미세 조정으로 금융 기관을 위한 사기 감지, 의료 분야의 DNA 염기 서열화, 고객 서비스용 챗봇 등 업계별 요구사항을 해결하는 더욱 특화된 머신 러닝 시스템을 설계할 수 있습니다.

파운데이션 모델은 자체적으로 AI 기술을 획득해 활용할 수 있는 리소스를 보유하지 못한 많은 조직을 위해 AI 분야 접근성과 정교한 기술을 제공합니다. 기업은 파운데이션 모델을 채택하고 이를 확장함으로써 다음과 같은 일반적인 문제를 극복할 수 있습니다.

고품질 데이터에 대한 액세스 제한: 파운데이션 모델은 대부분의 조직이 액세스할 수 없는 데이터를 기반으로 한 모델을 제공합니다.

모델 성능/정확성: 파운데이션 모델은 조직이 수개월 또는 수년간의 노력을 통해 구축할 수 있는 높은 수준의 정확성을 기본으로 제공합니다. 

가치 창출 시간: 머신 러닝 모델을 학습시키는 데 오랜 시간이 걸리며 많은 리소스가 필요할 수 있습니다. 파운데이션 모델은 기본적으로 사전에 학습되므로 조직은 미세 조정을 통해 맞춤형 결과를 얻을 수 있습니다. 

제한된 인재: 파운데이션 모델은 조직이 데이터 사이언스 리소스에 막대한 투자를 하지 않아도 AI/ML을 활용할 수 있는 방안을 제시합니다. 

비용 관리: 기반 모델을 사용하면 초기 교육에 필요한 값비싼 하드웨어의 필요성이 줄어듭니다. 물론 최종 모델을 제공하고 미세 조정하는 데 비용이 들긴 하지만, 이러한 비용은 파운데이션 모델 자체를 학습시키는 데 필요한 비용에 비하면 일부분에 불과합니다.

LoRA와 QLoRA 비교

파운데이션 모델과 관련한 흥미로운 적용 사례도 매우 많지만, 염두에 두어야 할 잠재적인 과제도 상당합니다.

비용
파운데이션 모델은 개발, 학습, 배포하기 위해 많은 리소스를 필요로 합니다. 초기에 파운데이션 모델을 학습시키는 단계에서는 방대한 양의 일반 데이터가 필요하며, 방대한 수의 GPU를 사용하고, 머신 러닝 엔지니어와 데이터 사이언티스트 그룹이 필요하기도 합니다. 

해석 가능성
'블랙박스'는 AI 프로그램이 신경망 내에서 태스크를 수행하지만, 그 내용을 표시하지 않는 경우를 말합니다. 그러면 알고리즘을 만든 데이터 사이언티스트와 엔지니어를 포함한 어느 누구도 모델이 특정 출력에 도달한 방법을 정확하게 설명할 수 없습니다. 블랙박스 모델을 해석할 능력이 부족하기 때문에 이 기능이 특히 의료, 사법 제도, 금융 등의 분야에서 고위험 의사 결정에 사용되는 경우 폐해를 초래할 수 있습니다. 이와 같은 블랙박스 효과는 파운데이션 모델뿐 아니라 어떠한 신경망 파운데이션 모델에서든 발생할 수 있습니다. 

개인 정보 보호 및 보안 
기반 모델은 많은 정보에 대한 액세스를 요구하며, 때로는 고객 정보 또는 독점 비즈니스 데이터를 포함하기도 합니다. 이는 제3사 공급업체가 모델을 배포하거나 모델에 액세스하는 경우에 특히 주의해야 하는 부분입니다.

정확성 및 편향 
딥러닝 모델이 통계적으로 편향된 데이터를 기반으로 훈련되거나 모집단의 정확한 표현을 제공하지 않는 경우 출력에 결함이 있을 수 있습니다. 안타깝게도 사람의 편견이 인공지능에 전달되어 차별적인 알고리즘과 편향 출력에 대한 위험을 초래할 때가 많습니다. 조직이 생산성과 성과 향상을 위해 AI를 지속적으로 활용하는 만큼, 편향을 최소화하기 위한 전략 마련이 중요해졌습니다. 이를 위해서는 우선 포용적인 설계 프로세스를 갖추고 수집된 데이터 내 다양한 대표성을 고려해야 합니다. 

AI/ML 고려 사항

Red Hat® AI는 고객이 이미 신뢰하는 솔루션을 토대로 구축된 Red Hat의 AI 제품 포트폴리오입니다. 

Red Hat AI가 조직에 제공하는 이점은 다음과 같습니다.

• AI를 신속하게 도입하고 활용하여 빠르게 혁신
• AI 솔루션 제공의 복잡성 해소
• 어디서나 배포.

Red Hat AI 살펴보기 

IBM의 granite 제품군 모델에 손쉽게 액세스

기반 모델을 실험할 준비가 되었지만 아직 비즈니스 활용 사례가 무엇인지 잘 모르겠다면 Red Hat® Enterprise Linux® AI로 시작해 보세요. 이 기반 모델 플랫폼은 엔터프라이즈 애플리케이션을 위한 granite 제품군 LLM을 개발, 테스트, 실행하는 데 도움이 됩니다.

개발자는 LLM과 AI 툴링을 갖춘 단일 서버 환경에 빠르게 액세스할 수 있습니다. 또한 모델을 조정하고 생성 AI 애플리케이션을 빌드하는 데 필요한 모든 것을 제공합니다.

또한 Red Hat AI는 InstructLab이라는 솔루션으로 LLM을 개선할 수 있는 추가 모델 정렬 메커니즘을 제공합니다. Red Hat과 IBM은 LLM 기능을 강화하기 위한 오픈소스 커뮤니티 중심 접근 방식을 도입하기 위해 InstructLab을 만들었습니다.

Red Hat Enterprise Linux AI 살펴보기