SLM과 LLM 비교: 소규모 언어 모델이란?

URL 복사

소규모 언어 모델(Small Language Model, SLM)은 대규모 언어 모델(Large Language Model, LLM)의 소규모 버전으로, 지식의 전문성이 더 높고 커스터마이징이 더 빠르며 실행 효율성이 더 뛰어납니다.

SLM은 광범위한 일반 지식을 갖춘 LLM과 달리 도메인별 지식을 갖추도록 학습합니다. SLM은 크기가 더 작기 때문에 학습 및 배포에 필요한 컴퓨팅 리소스가 적어 인프라 비용을 줄이고 미세 조정(fine-tuning) 속도를 단축할 수 있습니다. 이러한 경량화 특성으로 인해 엣지 기기와 모바일 애플리케이션에 적합한 언어 모델입니다.

SLM과 LLM 비교

SLM과 LLM은 모두 프로그래밍 언어를 비롯해 인간 언어를 해석하도록 학습한 인공지능(AI) 시스템의 유형입니다. 일반적으로 이 둘의 주요 차이점은 학습 토대가 되는 데이터 세트의 크기, 데이터 세트에서 학습하는 데 사용되는 프로세스, 다양한 활용 사례의 시작에 따른 비용/이점 등입니다.

이름에서 알 수 있듯이 LLM과 SLM은 모두 언어로 구성된 데이터 세트에서 학습합니다. 따라서 이미지를 토대로 학습한 모델(예: DALL·E) 또는 동영상을 토대로 학습한 모델(예: Sora)과 다릅니다. 언어 기반 데이터 세트의 일부 예시로는 웹페이지 텍스트, 개발자 코드, 이메일, 사용 설명서 등이 있습니다.

SLM과 LLM을 응용한 기술 중 가장 잘 알려진 것 중 하나가 생성형 AI(생성 AI)로, 예측할 수 없는 여러 다양한 질의에 대해 스크립트 없이도 콘텐츠 응답을 그 이름에서 알 수 있듯 생성할 수 있습니다. 특히 LLM은 GPT-4 파운데이션 모델과 ChatGPT(수조 개의 매개변수를 사용하여 방대한 양의 데이터 세트를 토대로 학습하여 광범위한 인간 질의에 응답하는 대화형 챗봇) 덕분에 일반인들 사이에서도 인지도가 높아졌습니다. 생성 AI의 인기가 높기는 하지만 예측 AI처럼 LLM과 SLM을 비생성형으로 응용하는 기술도 있습니다.

프로덕션 레디 AI/ML 환경을 구축하기 위해 고려해야 할 중요 사항

GPT-4/ChatGPT의 범위는 LLM과 SLM의 일반적인 차이점인 학습 기반이 되는 데이터 세트를 확실히 보여주는 좋은 예시입니다.

LLM은 주로 인간 지능을 매우 광범위한 수준에서 모방하도록 설계되었으므로 광범위한 대규모 데이터 세트를 기반으로 학습합니다. GPT-4/ChatGPT의 경우에는 특정 날짜까지의 공용 인터넷도 전부 범위에 포함됩니다. 이것이 바로 ChatGPT가 광범위한 일반 사용자의 질의를 해석하고 응답하는 기능으로 유명세를 떨칠 수 있었던 이유입니다. 그러나 ChatGPT는 같은 이유로 부정확한 응답을 제공해 이목을 끌기도 합니다. 이를 '할루시네이션(hallucination)'이라고 합니다. 모든 산업 분야나 특정 분야에 관한 질의에 정확하게 응답할 수 있도록 미세 조정(fine-tuning) 및 도메인별 학습이 이뤄져야 하지만 그러지 못하기 때문에 발생합니다.

반면 SLM은 주로 특정 산업 분야(즉, 전문 분야)에 맞춘 소규모 데이터 세트를 기반으로 학습합니다. 예를 들어 의료 기관은 의료 데이터 세트를 기반으로 학습한 SLM 지원 챗봇을 사용하여 건강에 관한 사용자의 비전문적 질의에 도메인별 지식을 삽입함으로써 질문과 답변의 품질을 높일 수 있습니다. 이 경우 SLM 지원 챗봇은 의료 활용 사례와 무관한 인터넷상의 블로그 포스트나 소설, 시 등을 학습할 필요가 없습니다.

다시 말해 SLM은 일반적으로 특정 도메인에서는 탁월하지만 일반 지식과 전체적인 상황별 이해 측면에서는 LLM에 뒤처집니다.

LoRA와 QLoRA 비교 설명 

Red Hat 리소스

모델이 LLM이든 SLM이든 비즈니스 활용 사례에 맞게 학습시키려면 리소스 집약도는 높을 수밖에 없습니다. 그러나 LLM 학습이 특히 더 그러합니다. GPT-4의 경우 총 2만 5천 개의 NVIDIA A100 GPU가 90~100일 연속으로 동시에 실행되었습니다. 다시 말씀드리지만 GPT-4는 그 규모가 LLM 스펙트럼의 최상단에 위치합니다. Granite와 같은 다른 LLM에는 많은 리소스가 필요 없습니다. SLM 학습에도 상당한 컴퓨팅 리소스가 필요하지만 LLM보다는 적습니다.

 

학습과 추론의 리소스 요구 사항 비교

모델 학습과 모델 추론 사이의 차이점을 알아야 합니다. 위에서 이야기했듯이 학습은 AI 모델 개발의 첫 단계입니다. 추론은 학습한 AI 모델이 새로운 데이터를 기반으로 예측할 때 따르는 프로세스입니다. 예를 들어 사용자가 ChatGPT에게 질문을 하면 그에 따라 ChatGPT가 사용자에게 예측을 답변으로 내놓습니다. 이렇게 예측을 생성하는 프로세스가 추론입니다.

대부분의 LLM은 데이터를 생성하려면 여러 병렬 처리 장치가 필요하지만 Granite 모델 제품군과 같은 일부 사전 학습된 LLM은 단일 고출력 워크스테이션의 리소스를 사용하여 추론할 수 있습니다(예: Granite 모델은 하나의 V100-32GB GPU2에 할당 가능). 또한 LLM에 액세스하는 동시 사용자 수가 많을수록 모델이 추론을 실행하는 속도가 느려집니다. 반면 SLM은 주로 스마트폰 또는 기타 모바일 기기의 리소스를 이용하여 추론하도록 설계됩니다.

'어느 모델이 더 나은가?'라는 질문에 대해 정해진 답은 없습니다. 조직의 계획, 리소스, 전문 지식, 일정, 기타 요인에 따라 답은 달라집니다. 모델을 처음부터 학습시켜야 하는 활용 사례인지, 사전 학습된 모델을 미세 조정하는 활용 사례인지 결정하는 것도 중요합니다. LLM과 SLM을 비교할 때 일반적으로 고려해야 할 사항은 다음과 같습니다.

비용

일반적으로 LLM에는 학습, 미세 조정, 추론 실행에 훨씬 더 많은 리소스가 필요합니다. 학습의 경우 자주 투자할 필요가 없습니다. 모델의 학습은 간헐적이며, 지속적이지 않은 태스크입니다. 학습이 진행되는 동안에는 컴퓨팅 리소스만 필요합니다. 그러나 추론을 실행하려면 비용이 지속적으로 발생하고, 모델 사용자 수가 확장함에 따라 추론 실행의 필요성은 커집니다. 이럴 경우 대부분 대규모 클라우드 컴퓨팅 리소스나 상당한 온프레미스 리소스 투자 또는 두 가지 모두가 필요합니다.

SLM은 엣지 컴퓨팅과 같이 대기 시간이 짧은 활용 사례에서 자주 평가되고 있습니다. 중요 리소스에 지속적으로 연결할 필요 없이 단일 모바일 기기에서 사용할 수 있는 리소스만으로도 실행 가능하기 때문입니다.

Red Hat 블로그: LLM 비용을 낮추기 위한 팁 

전문성

인기 있는 사전 학습된 LLM(예: Granite, Llama, GPT-4)들은 AI 시작을 위한 '플러그 앤 플레이' 옵션을 더 많이 제공합니다. 따라서 AI 실험을 시작하고자 하는 조직에서는 데이터 사이언티스트가 처음부터 설계하고 학습시킬 필요가 없는 LLM을 선호합니다. 반면 SLM은 일반적으로 특정 영역의 데이터 세트를 기반으로 정확하게 미세 조정할 수 있도록 데이터 사이언스와 산업 지식 도메인의 전문 지식이 모두 필요합니다.

보안

LLM의 한 가지 잠재적 위험은 애플리케이션 프로그래밍 인터페이스(API)를 통해 중요한 데이터가 노출될 수 있다는 것입니다. 특히 조직의 데이터를 기반으로 LLM을 미세 조정할 때는 컴플라이언스와 회사 정책을 잘 지켜야 합니다. SLM은 더 높은 수준의 제어력을 제공하므로 데이터 유출의 위험이 적습니다.

기업이 SLM을 워크플로우에 통합할 때는 SLM의 제한 사항에 대해 알아야 합니다.

편향

SLM은 소규모 데이터 세트를 기반으로 학습하므로 불가피하게 발생하는 편향을 LLM에 비해 더 쉽게 완화할 수 있습니다. 그러나 다른 모든 크기의 언어 모델들과 마찬가지로 특정 집단과 아이디어에 대한 과소 대표 또는 와전과 같은 편향이나 부정확한 서술이 도입될 수 있습니다. 언어 모델은 방언, 지리적 위치, 문법 등과 관련된 편향까지 상속받을 수 있습니다.

따라서 팀은 편향된 출력을 제한하기 위해 학습 데이터의 품질에 각별한 주의를 기울여야 합니다. 

협소한 지식 범위

SLM은 응답을 생성할 때 정보를 가져오는 풀의 크기가 작습니다. 따라서 특정 태스크에는 탁월한 성능을 보일 수 있지만 광범위한 일반 지식이 필요한 태스크에는 부적합할 수 있습니다. 

팀은 특수 목적의 SLM 컬렉션을 만들어 LLM 하나 또는 여러 개와 함께 사용하는 것을 고려해볼 수 있습니다. 이러한 솔루션은 팀이 모델을 기존 애플리케이션과 연결하여 여러 언어 모델이 함께 작동하는 상호 연결된 워크플로우를 생성할 수 있는 경우에 특히 유용할 수 있습니다.

SLM은 적응성이 뛰어나 다양한 활용 사례에 유용하게 사용할 수 있습니다. 

챗봇 

SLM을 사용하여 챗봇에게 전문 자료를 학습시키세요. 예를 들어 고객 서비스 챗봇이 질문에 답하고 사용자에게 정보를 안내할 수 있도록 회사와 관련된 지식을 학습시킬 수 있습니다. 

에이전틱 AI 

SLM을 에이전틱 AI 워크플로우에 통합하여 사용자 대신 태스크를 완수할 수 있도록 합니다. 

생성형 AI 

SLM은 새 텍스트 생성, 기존 텍스트 번역, 카피 요약과 같은 태스크를 수행할 수 있습니다. 

생성 AI 활용 사례 살펴보기

Red Hat AI는 하이브리드 클라우드 환경 전반에서 규모에 맞게 유연하고 신뢰할 수 있는 AI 솔루션을 빌드할 수 있도록 생성형 AI 및 예측 AI 기능을 MLOps 지원과 함께 제공합니다. Red Hat AI는 AI 도입을 가속화하고 AI 솔루션 제공의 복잡성을 제거하며 데이터가 있는 곳 어디서나 개발 및 배포할 수 있는 유연성을 제공합니다.

Red Hat의 오픈 하이브리드 클라우드 인프라와 결합한 Red Hat AI는 조직이 기업 맞춤형 AI 솔루션을 구축하고, 모델 및 애플리케이션 라이프사이클을 관리하고, 하드웨어 가속화 요구 사항에 적응하고, 단일 플랫폼에서 중요 워크로드와 함께 배포, 실행, 운영하도록 지원합니다.

Red Hat AI 포트폴리오 살펴보기 

초보자를 위한 머신 러닝 및 AI

ML 모델과 AI 모델이 처음이라면 LLM 학습을 위한 커뮤니티 기반 솔루션인 InstructLab을 이용해 보세요. 무료로 실험하고 AI 모델의 개발에 직접 기여할 수 있습니다.

InstructLab 확인하기 

IBM Granite 제품군 모델에 손쉽게 액세스

한 단계 더 나아가 탐색할 준비가 되셨다면 파운데이션 모델 플랫폼인 Red Hat® Enterprise Linux® AI로 기업 애플리케이션을 위한 Granite LLM 제품군을 개발, 테스트, 실행할 수 있습니다. Granite는 오픈소스 라이센스 AI 모델로, Red Hat이 전적으로 지원하고 보상합니다. 오픈소스 접근 방식이므로 생성형 AI 혁신을 촉진하는 동시에 신뢰와 보안을 유지합니다.

Red Hat Enterprise Linux AI에 대해 자세히 알아보기 

기업에 맞는 스케일링

Red Hat® OpenShift® AI는 하이브리드 클라우드 환경 전반에서 규모에 따라 모델을 지원할 수 있는 플랫폼입니다. 조직의 자체 데이터로 고유의 활용 사례에 맞게 AI 모델을 학습시키고 프롬프트를 조정하며 미세 조정하고 서비스를 제공할 수 있습니다.

이러한 제품들을 결합하여 사용하면 데이터 사이언티스트와 개발자가 협업할 수 있는 통합 솔루션이 제공되므로 팀은 실험에서 프로덕션까지 더욱 빠르게 모델을 제공할 수 있습니다.

Red Hat OpenShift AI에 대해 자세히 알아보기 

파트너를 통한 성장

또한 Red Hat이 파트너 기술을 통합함으로써 오픈소스 플랫폼에서 사용할 수 있도록 개발된 신뢰할 수 있는 AI 툴들의 점점 확장되는 에코시스템을 활용할 기회가 제공됩니다.

Red Hat의 AI 파트너 확인하기

허브

레드햇 공식 블로그

레드햇 공식 블로그에서 고객, 파트너, 커뮤니티 에코시스템 등 현재 화제가 되는 최신 정보를 살펴 보세요.

모든 Red Hat 제품 체험판

무료 제품 체험판을 통해 핸즈온 경험을 얻고, 자격증 시험에 대비하거나 해당 제품이 조직에 적합한지 평가할 수 있습니다.

추가 자료

에이전틱 AI란? 자율적 상호작용을 위한 소프트웨어 시스템

에이전틱 AI (Agentic AI)는 인간의 개입을 최소화하며 데이터와 도구를 자율적으로 활용해 작업을 수행하도록 설계된 지능형 소프트웨어 시스템입니다.

머신 러닝(Machine Learning): 패턴 인식과 예측 기술

머신 러닝 학습은 명시적인 프로그래밍 없이 데이터에서 패턴을 학습하고 예측하는 AI 기술입니다. 머신 러닝의 원리, 핵심 기능, 그리고 다양한 활용 사례를 알아보세요.

딥러닝(Deep Learning): AI 혁신을 이끄는 심층 신경망 기술

딥러닝은 인공지능(AI) 분야에서 심층 신경망 알고리즘을 통해 데이터를 처리하고 학습하는 혁신적인 기술입니다. 딥러닝의 원리, 핵심 기술, 활용 사례를 확인해보세요.

AI/ML 리소스

관련 기사