대규모 언어 모델이란?

대규모 언어 모델(Large Language Model, LLM)은 머신 러닝 기술을 활용하여 인간의 언어를 이해하고 생성하는 인공지능 유형입니다. LLM은 커뮤니케이션과 데이터 처리의 다양한 측면을 자동화하고 강화하려는 기업과 조직에 매우 유용할 수 있습니다. 

LLM은 신경망 기반 모델을 사용하며, 자연어 처리(NLP) 기술을 사용하여 출력을 처리하고 계산하는 경우가 많습니다. NLP는 인공지능(AI)의 한 분야로, 컴퓨터가 텍스트를 이해하고 해석 및 생성하도록 지원한 다음 LLM을 통해 텍스트 분석, 정서 분석, 언어 번역, 음성 인식과 같은 태스크를 실행하는 데 초점을 둡니다.

Red Hat AI 살펴보기

LLM의 전체 라이프사이클은 다음과 같은 단계로 구성됩니다.

데이터 준비. LLM이 학습할 원시 데이터를 수집, 정제 및 체계화하는 단계입니다. 이 단계에는 데이터 정제(중복 항목 및 오류 제거), 데이터 필터링(편파적이거나 외설적이거나 저작권으로 보호되는 콘텐츠 제거), 토큰화(모델이 이해할 수 있는 단위로 텍스트 나누기)가 포함됩니다. 

학습. LLM은 학습을 통해 지식을 쌓아서 언어에 대한 이해를 갖춥니다. LLM을 학습시킬 때 첫 번째 단계는 사전 학습(pretraining)이며, 여기에는 자가 지도 학습(Self-supervised Learning, SSL)이라는 방법이 사용됩니다. SSL은 비지도 학습(unsupervised learning)의 한 가지 유형으로, 머신 러닝 모델에 수천억 개의 단어와 구문으로 이뤄진 원시 데이터 세트를 제공하여 연구하고 학습하도록 하는 과정이 포함됩니다. 

그런 다음 LLM은 미세 조정과 정렬을 통해 학습을 이어 나갑니다. 여기에는 종종 다음과 같은 방법이 사용됩니다.

• 지도 학습(Supervised learning): 모든 입력 데이터에 정답 레이블이 지정된 데이터세트를 모델에 제공합니다. 모델은 입력 데이터와 정답 레이블 간의 관계를 학습하게 됩니다. 지도 학습은 미래에 발생할 일을 예측하는 데 도움이 될 수 있습니다.
• 강화 학습(Reinforcement learning): 모델에 목표와 일련의 규칙을 제공하지만, 레이블이 지정된 데이터는 제공하지 않습니다. 모델은 상호작용하며 행동에 대한 '보상' 또는 '불이익'을 받으면서 학습하게 됩니다. 강화 학습은 다음에 취해야 할 행동을 제안하는 데 도움이 될 수 있습니다.

학습하는 동안 컴퓨터는 데이터에서 정보를 추출하고, 연관 관계를 파악하고, 언어에 대해 '학습'합니다. 그 결과, 단어와 문장 사이의 복잡한 관계를 포착할 수 있는 모델이 완성됩니다. 

추론. 모델이 학습을 마치면 추론 단계가 시작됩니다. 이 시점의 LLM은 실시간 데이터를 처리하여 실시간 예측을 수행할 수 있습니다. 이때부터 추론 서버가 중요해집니다. 

추론 서버는 클라우드 인프라 내에서 실행되며, 하드웨어와 사용자 애플리케이션을 연결하는 다리 역할을 합니다. 추론 서버는 리소스 요청을 관리하고 처리가 최대한 빨리 이루어지도록 하여 모델을 최적화합니다. 

이 분야를 선도하는 툴이 vLLM입니다. vLLM은 메모리 효율적인 추론 서버이자 엔진으로, 하이브리드 클라우드 환경에서 LLM의 속도와 처리 능력을 향상하도록 설계되었습니다.

많은 리소스가 필요한 LLM

LLM은 연결을 찾기 위해 지속적으로 확률을 계산하므로 상당한 계산 리소스가 필요합니다. LLM에 컴퓨팅 성능을 제공하는 리소스 중 하나가 그래픽 처리 장치(GPU)입니다. GPU는 복잡한 병렬 처리 태스크를 해결하기 위해 설계된 하나의 전문화된 하드웨어로, LLM과 같이 많은 계산이 필요한 ML 및 딥러닝 모델에 적합합니다.

리소스가 부족한 경우, 리소스 효율적인 미세 조정(fine-tuning) 기술인 LoRA and QLoRA를 사용할 수 있습니다. 사용자는 이를 통해 시간과 컴퓨팅 리소스를 효율적으로 활용할 수 있습니다.

특정 기술을 사용하면 모델을 압축하여 정확성을 유지하면서 속도를 최적화할 수 있습니다.

LLM 및 트랜스포머

GPU는 대부분의 LLM이 구현하는 NLP 태스크를 위해 특별히 설계된 소프트웨어 아키텍처 유형인 트랜스포머의 학습과 운영을 가속화하는 데도 중요한 역할을 합니다. 트랜스포머는 ChatGPT, Claude, Gemini 등 널리 사용되는 LLM 파운데이션 모델의 기본 구성 요소입니다.

트랜스포머 아키텍처는 문장 속 단어들과 같이 일련의 데이터에서 요소들의 상황별 관계 및 종속성을 효율적으로 포착함으로써 머신 러닝 모델의 기능을 강화합니다. 이것이 가능한 이유는 일련의 데이터에서 서로 다른 요소들의 중요성을 평가할 수 있도록 머신 러닝 모델을 지원하는 셀프 어텐션 메커니즘(매개 변수라고도 함)을 사용하여 모델의 이해와 성능을 향상하기 때문입니다. 매개 변수는 경계를 정의하며, 경계는 딥러닝 알고리즘이 처리해야 하는 방대한 양의 데이터를 이해하는 데 중요합니다.

트랜스포머 아키텍처에는 수백만 또는 수십억 개의 매개 변수가 포함되므로 복잡한 언어 패턴과 뉘앙스를 포착할 수 있습니다. 실제로 '대규모 언어 모델'에서 '대규모'란 단어는 LLM을 운영하는 데 필요한 엄청난 개수의 매개 변수를 가리킵니다.

LLM 및 딥러닝

LLM을 통해 비지도 학습의 과정을 안내하는 데 도움이 되는 트랜스포머와 매개 변수는 딥러닝이라고 하는 더욱 광범위한 구조의 일부입니다. 딥러닝은 컴퓨터가 인간의 뇌에서 따온 알고리즘을 사용하여 데이터를 처리하도록 가르치는 인공지능 기술입니다. 딥 뉴럴 러닝 또는 딥 뉴럴 네트워킹이라고도 하는 딥러닝 기술을 활용하여 컴퓨터는 인간이 지식을 얻는 방식을 모방하고 관찰을 통해 학습할 수 있습니다. 

인간의 뇌는 상호 연결된 많은 뉴런을 포함하고 있으며 이러한 뉴런은 뇌가 정보(또는 데이터)를 처리할 때 정보 전달자 역할을 합니다. 이 뉴런들은 서로 통신하고 뇌의 다른 영역 간에 정보를 전달하기 위해 전기 자극과 화학 신호를 사용합니다. 

딥러닝의 기본 아키텍처인 인공 신경망(ANN)은 이러한 생물학적 현상을 기반으로 하지만, 노드라고 하는 소프트웨어 모듈로 만들어진 인공 뉴런에 의해 형성됩니다. 이러한 노드는 (뇌의 화학 신호 대신) 수학적 계산을 사용하여 모델 내에서 정보를 전달하고 전송합니다.

대규모 언어 모델(LLM)의 운영 보기

현대적인 LLM은 과거 개인용 컴퓨터로는 파악할 수 없었던 방식으로 언어를 이해하고 활용할 수 있습니다. 이러한 머신 러닝 모델은 텍스트 생성, 콘텐츠 요약, 번역, 재작성, 분류, 범주화, 분석 등 다양한 기능을 수행할 수 있습니다. 이를 통해 인간은 창의력을 높이고 생산성을 향상하여 어려운 문제를 해결할 수 있는 강력한 툴셋을 이용할 수 있습니다.

서비스로서의 모델이란?

비즈니스 환경에서 LLM을 가장 흔히 사용하는 경우로는 다음이 포함될 수 있습니다.

자동화 및 효율성

LLM은 고객 지원, 데이터 분석, 콘텐츠 생성과 같은 언어 관련 태스크를 보완하거나 완전히 대체하는 데 도움이 될 수 있습니다. 이러한 자동화를 통해 운영 비용은 줄고 직원은 더욱 전략적인 태스크에 집중할 수 있습니다. 

인사이트 생성

LLM은 대용량의 텍스트 데이터를 신속하게 스캔하기 때문에 기업은 소셜 미디어, 리뷰, 연구 논문 등과 같은 출처를 스크랩하여 시장 동향과 고객 피드백을 더 잘 파악하고 이를 비즈니스 의사 결정에 활용할 수 있습니다.

고객 경험 개선

LLM은 기업이 고객에게 고도로 맞춤화된 콘텐츠를 제공하여 참여를 유도하고 사용자 환경을 개선하는 데 도움이 됩니다. 예를 들어 24시간 고객 지원을 제공하기 위해 챗봇을 구현하거나, 특정 사용자 유형에게 마케팅 메시지를 맞춤화하거나, 언어 번역과 문화 간 의사소통을 지원하는 것이 있습니다. 

생성형 AI 활용 사례 살펴보기

비즈니스 환경에서 LLM을 사용할 경우 여러 장점을 활용할 수 있지만 다음과 같이 고려해야 할 잠재적인 한계도 있습니다.

비용

LLM을 개발하고, 학습시키고, 배포하려면 많은 리소스가 필요합니다. 이러한 이유로 인해 NLP 기능으로 사전 학습되고 언어에 대한 기본 이해를 제공하는 파운데이션 모델로부터 구축되는 LLM이 많으며, 여기에서 더 복잡한 LLM이 파생될 수 있습니다. 오픈소스 라이센스 LLM은 무료로 사용할 수 있어 LLM을 자체적으로 개발할 여력이 없는 조직에 적합합니다.

속도

LLM 프롬프트는 복잡하고 비균일합니다. 일반적으로 대량의 데이터를 처리하려면 방대한 컴퓨팅 리소스와 스토리지가 필요합니다. 개발자는 llm-d와 같은 오픈소스 AI 프레임워크를 통해 분산 추론 등의 기술을 사용하여 LLM처럼 정교하고 규모가 큰 추론 모델에 대해 증가한 수요를 충족할 수 있습니다.

분산 추론및 llm-d는 모듈식 아키텍처를 갖춘 하드웨어 플릿 전반에 추론 작업을 분산하여 AI 워크로드를 처리합니다. 이렇게 하면 모델이 더 빠르게 추론할 수 있습니다. 

프라이버시와 보안

LLM에는 많은 정보에 대한 액세스가 필요하며, 때로는 그러한 정보에 고객 정보나 상용 비즈니스 데이터가 포함되기도 합니다. 이는 제3사 공급업체가 모델을 배포하거나 모델에 액세스하는 경우에 특히 주의해야 하는 부분입니다.

AI 보안에 대해 자세히 알아보기  

정확성과 편향

딥러닝 모델이 통계적으로 편향된 데이터로 학습하거나 모집단의 정확한 표현을 제공하지 않는 경우 출력에 결함이 있을 수 있습니다. 안타깝게도 사람의 편견이 인공지능에 전달되어 차별적인 알고리즘과 편향 출력에 대한 위험을 초래할 때가 많습니다. 조직이 생산성과 성과 향상을 위해 AI를 지속적으로 활용하는 만큼, 편향을 최소화하기 위한 전략 마련이 중요해졌습니다. 이를 위해서는 우선 포용적인 설계 프로세스를 갖추고 수집된 데이터 내 다양한 대표성을 고려해야 합니다.

기업에서 AI를 활용할 수 있는 방식 알아보기

LLM의 이점과 제한 사항

대규모 언어 모델(Large language Model, LLM)은 자연어를 이해하고 생성하는 데 뛰어나므로, 다양한 콘텐츠를 생성하고, 코드 지원을 통해 개발자 생산성을 높이며, 요약이나 번역과 같은 태스크를 더 잘 수행합니다. LLM은 데이터 분석에 뛰어나며 확장 가능한 솔루션을 제공하고 더 나은 개인화를 지원합니다. 그러나 환각(hallucination)과 부정확한 사실을 제공하는 경향, 실시간 지식 업데이트의 부족, 복잡한 추론의 어려움 등 중요한 제한 사항이 있습니다. 여기에 더해 비결정적 행동, 과도한 의존과 더불어 내재된 편향, 높은 컴퓨팅 비용, '블랙박스' 문제(투명성 부족), 데이터 프라이버시/보안 리스크와 관련된 문제도 존재합니다.

AI 사용에 관한 거버넌스 및 윤리적 고려 사항

거버넌스 및 윤리적 고려 사항은 LLM을 사용하는 조직이 주로 LLM의 강력한 기능과 잠재적인 피해 가능성으로 인해 직면하게 되는 문제를 다룹니다. 윤리적인 측면에서 핵심적인 고려 사항은 편향입니다. LLM은 사회적 편견을 반영하고 증폭할 수 있는 광범위한 데이터세트를 통해 학습하기 때문에 차별적인 결과물을 제공하게 될 수 있습니다. 또 다른 문제는 LLM이 매우 그럴듯한 말로 거짓 정보를 제공하는 환각 현상입니다. 윤리적으로 배포하려면 고지 사항, 정확한 사실 확인을 통해 잘못된 정보를 최소화하는 메커니즘이 필요하며, 특히 의료, 재무와 같은 중요 분야에서는 필수적입니다.

그 외에 다음 사항도 고려해야 합니다.

• 대부분의 LLM에서 발생하는 투명성과 설명 가능성(explainability)을 저해하는 '블랙박스' 문제
• 유해한 콘텐츠 또는 불법 콘텐츠를 생산하는 오용 및 유해한 콘텐츠 생성의 위험
• 지식 재산(Intellectual Property) 및 저작권 관련 우려 사항
• 개인정보 보호 및 데이터 유출 위험

AI 거버넌스

AI 거버넌스는 LLM 개발 및 감독이 조직의 가치와 부합하고 법적 요건을 준수하여 책임감 있게 이루어지도록 하는 데 매우 중요한 역할을 합니다. AI 관련 규정이 시시각각으로 진화하는 상황에서, 조직은 GDPR, HIPAA를 비롯한 데이터 개인정보 보호법과 새로운 AI 관련 의무를 준수하는 데 우선순위를 두어야 합니다. 이를 위해 일반적으로 AI 시스템에 대한 강력한 리스크 관리, 데이터 거버넌스, 인적 감독 및 강력한 사이버 보안이 필요합니다. 중요한 의사 결정에 필수적인 '휴먼 인 더 루프(human-in-the-loop)' 전략을 통해 개발에서 배포에 이르는 전체 여정에서 LLM의 성능 및 영향에 대한 책임자를 정의하여 명확한 책임 프레임워크를 구축하는 것도 필요합니다.

LLM이 외부 데이터에 기반해 출력을 반환하게 하려면 다음과 같은 옵션을 사용할 수 있습니다. 

• 검색 증강 생성(RAG)은 사용자가 선택한 지식 출처의 데이터를 통합하여 LLM의 지식 기반을 확장하는 아키텍처입니다. 데이터 리포지토리, 텍스트 컬렉션, 기존 문서 등을 포함합니다.
• 에이전틱 AI는 자동화 기능과 LLM(대규모 언어 모델)의 창의적인 능력을 결합한 것입니다. 에이전트가 툴과 통신하는 방식에는 오케스트레이션, 그리고 사용되는 프레임워크에 의존하는 흐름 또는 그래프가 수반됩니다. 이러한 접근 방식을 통해 LLM은 사용 가능한 정보만으로 질의에 응답할 수 있는지 아니면 외부 검색이 필요한지 여부를 결정하는 등 질문에 답하는 가장 좋은 방법을 '판단'하고 결정할 수 있습니다.
• MCP(Model Context Protocol)는 에이전틱 AI를 외부 소스와 연결하는 방법입니다. MCP는 오픈소스 프로토콜로, RAG를 보완할 수 있으며, AI 애플리케이션과 외부 서비스 간의 양방향 연결 및 통신을 가능하게 함으로써 한 단계 더 나아갑니다. 

대규모 언어 모델(LLM)과 소규모 언어 모델(SLM)은 모두 프로그래밍 언어를 비롯하여 인간 언어를 해석하도록 학습된 인공지능(AI) 시스템의 유형입니다. 일반적으로 이 둘의 주요 차이점은 학습 토대가 되는 데이터 세트의 크기, 데이터 세트에서 학습하는 데 사용되는 프로세스, 다양한 활용 사례의 시작에 따른 비용/이점 등입니다.

LLM과 SLM 비교에 대해 자세히 알아보기

Red Hat® AI는 고객이 이미 신뢰하는 솔루션을 토대로 구축된 Red Hat의 AI 제품 포트폴리오입니다. 

Red Hat AI가 조직에 제공하는 이점은 다음과 같습니다.

• AI를 신속하게 도입하고 활용하여 빠르게 혁신
• AI 솔루션 제공의 복잡성 해소
• 어디서나 배포

Red Hat AI 살펴보기

Red Hat AI를 사용하면 Red Hat 플랫폼 전반에서 효율적으로 실행되는 것으로 검증된 제3사 모델의 리포지토리에 액세스할 수 있습니다. 이 즉시 사용 가능한 모델들은 용량 가이드 계획 시나리오를 통해 실행되어 도메인 고유 활용 사례에 대해 정보를 토대로 결정할 수 있도록 돕습니다. 

Red Hat AI의 검증된 모델에 대해 자세히 알아보기

LLM 시작을 위한 최적의 선택

AI 모델을 실험할 준비가 된 조직에 Red Hat은 LLM, 파운데이션 모델, 생성형 모델, 머신 러닝 모델 등을 지원합니다.

Red Hat의 파운데이션 모델 플랫폼인 Red Hat® Enterprise Linux® AI는 LLM을 시작하기에 좋은 플랫폼으로, 엔터프라이즈 애플리케이션을 위한 Granite LLM 제품군을 개발, 테스트, 실행할 수 있습니다. AI 플랫폼은 개발자에게 LLM과 AI 툴링을 갖춘 단일 서버 환경에 대한 빠른 액세스를 제공합니다. 또한 모델을 조정하고 생성형 AI 애플리케이션을 빌드하는 데 필요한 모든 것을 제공합니다. 

Red Hat Enterprise Linux AI 살펴보기