AI는 개념상으로는 적어도 1950년대부터 존재해 왔습니다. 대부분의 과학 또는 기술이 발전해 온 과정과 마찬가지로, AI의 발전 과정도 정체기와 급도약, 그리고 다시 정체기를 겪는 과정을 반복해 왔습니다. 뜨거운 열기에 휩싸였다가 환상이 깨지고, 더욱 현실적인 진보로 이어지는 주기가 수십 년에 걸쳐 되풀이된 것입니다.
현재 AI는 변곡점에 도달했습니다. 한때 실험적이라고 여겨졌던 기술을 이제 운영 환경에서 사용할 수 있게 되었고, 이론적이라고 생각되던 기술이 기업의 운영 방식을 바꾸고 있습니다.
무엇이 촉매로 작용했을까요? 구글(Google)이 2017년에 발표한 'Attention Is All You Need'(필요한 건 관심뿐)라는 연구 보고서는 오늘날 대규모 언어 모델(LLM)의 기반이 된 트랜스포머 아키텍처를 소개했습니다. 트랜스포머를 통해 AI 시스템은 기존의 접근 방식으로는 불가능한 방법으로 방대한 데이터 세트를 처리하고 맥락을 이해할 수 있게 되었습니다. 이 혁신적인 기술은 컴퓨팅 파워 그리고 저장 용량의 발전과 합쳐져서 사람과 유사한 텍스트, 실제적인 이미지, 실제로 작동하는 소프트웨어 코드를 생성할 수 있는 능력을 제공했습니다.
하지만 이것은 시작에 불과합니다. 모델 개발, 추론 기법의 완성, 다양한 AI 접근 방식의 통합을 위한 지속적인 노력이 이어졌고, 복잡한 추론과 문제 해결을 수행하고, 자율적으로 작업을 계획 및 실행하고, 상호작용을 통해 학습할 수 있는 시스템이 탄생하게 되었습니다. 이는 불과 몇 년 전만 하더라도 불가능했던 정교한 자동화와 창의적인 솔루션으로 향하는 길을 기업에 열어주었습니다.
이 가이드는 현대적인 혁신을 주도하는 모델을 더 깊게 이해하고, 조직의 레디니스(readiness)를 평가하고, 올바른 접근 방식을 선택하고, 확신을 갖고 AI를 도입하고 확장하기 위한 실용적인 로드맵을 구축하는 데 도움이 될 것입니다.
혁신을 가속화하는 AI 모델의 유형
대규모 언어 모델(LLM)과 이미지 생성 모델은 최근 생성형 AI의 폭발적인 증가를 주도하는 대표적인 모델의 예시입니다.
LLM(예: OpenAI, Anthropic, Meta의 모델)은 방대한 데이터세트를 기반으로 선행 학습하여 자연어를 처리하고 생성할 수 있어 고객 지원 자동화, 마케팅 카피 생성 등 다양한 분야에 중요하게 활용됩니다. 한편 Stable Diffusion, Midjourney, DALL-E와 같은 이미지 생성 모델은 텍스트 프롬프트를 기반으로 시각적 요소를 생성하여 엔터테인먼트, 마케팅 등의 분야에서 혁신을 가속화하고 있습니다.
추론과 계획 모델의 부상
2025년에는 일련의 추론 모델들이 새롭게 등장하며 AI가 복잡한 문제에 접근하는 방식이 근본적으로 바뀌었습니다. 이러한 모델은 강화 학습을 사용하여 사고 사슬(chain-of-thought, CoT) 추론, 자체 인증, 오류 수정 능력을 개발함으로써 에이전틱 AI 워크플로우의 토대를 제공합니다.
기업은 하나의 모놀리식 시스템 대신 특화된 모델 여러 개를 사용하는 멀티모델 접근 방식을 채택하고 있습니다. 즉 쿼리 중 5~10%를 차지하는 복잡한 계획 작업에는 대규모 추론 모델을 사용하고, 70억~130억 개의 매개변수를 사용하는 모델에는 더 단순한 요청을 라우팅합니다. 이러한 패턴은 품질을 유지하면서도 각 쿼리를 처리하는 데 드는 추론 비용과 컴퓨팅 비용을 대폭 절감할 수 있습니다.
AI 모델은 텍스트를 토큰이라고 하는 단위로 처리하며, 이는 대략적으로 단어 하나 또는 단어의 일부에 해당합니다. 토큰은 AI의 통화와 같습니다. AI 서비스의 가격은 일반적으로 처리된 토큰 100만 개를 기준으로 계산되므로, 토큰 비용은 AI를 대규모로 배포하는 기업 조직이 중요하게 고려하는 사항입니다. 예를 들어 고객 서비스 구현에서는 단순한 쿼리의 80%를 더 작고 비용 효율적인 모델로 라우팅함으로써, 토큰당 더 높은 비용을 지불할 가치가 있는 복잡한 문제에는 리소스 집약적인 추론 모델이 사용되도록 합니다.
고려해야 할 새로운 추세
기업들은 점점 더 여러 개의 AI 모델을 함께 사용하는 추세입니다. 또한 현대적인 모델은 함수 호출을 지원하여 외부 툴, 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API) 그리고 데이터베이스와 상호작용할 수 있으며, 이를 통해 텍스트를 생성하는 데 그치지 않고 실제 작업을 수행하는 방향으로 발전하고 있습니다.
이러한 추세를 보여주는 한 가지 예는 2024년에 출시된 Meta의 오픈소스 AI 런타임 환경인 Llama Stack입니다. 이는 조직이 멀티모델 AI 시스템을 구축하고 배포하는 방식을 표준화합니다. 이는 AI 에이전트를 위한 쿠버네티스에 비유할 수 있습니다. 쿠버네티스가 컨테이너를 오케스트레이션하는 것과 마찬가지로 Llama Stack은 에이전트와 해당 제공업체를 오케스트레이션하며, 개발과 프로덕션 환경 전반에서 일관되게 작동하는 추론, 검색 증강 생성(Retrieval-augmented Generation, RAG), 에이전트, 툴 및 안전성을 위한 공통 API를 제공합니다.
오픈소스: AI 혁신의 기반
Red Hat의 AI 전략은 오픈소스에 뿌리를 두고 투명성과 신뢰성, 저렴한 비용을 바탕으로 기업이 예측 AI와 생성형 AI를 발전시킬 수 있도록 돕습니다. 조직은 Red Hat의 오픈 하이브리드 클라우드 플랫폼을 사용하여 AI 솔루션에 대한 통제력을 유지하면서 원하는 대로 혁신할 수 있습니다.
오픈소스를 통한 LLM 관리
생성형 AI가 소프트웨어 개발 방식부터 사람들의 커뮤니케이션 방식에 이르기까지 비즈니스의 거의 모든 부분을 변화시키고 있지만, 서비스 공급업체는 생성형 AI 기능의 일부로 사용되는 모델(LLM과 기타 모델)을 엄격하게 통제하는 경우가 드물지 않게 있습니다. 즉, 전문적인 스킬을 보유하지 않았고 상당한 재정적, 시간적 투자도 하지 않은 기업이라면 생성형 AI 서비스의 기능을 평가하기가 쉽지 않을 것입니다.
모델을 생성한 데이터세트에 대한 가시성이 없거나 모델이 해당 데이터를 사용하는 방식을 이해하지 못한다면 조직은 AI가 생성한 콘텐츠와 관련된 잠재적 위험에 노출됩니다. 여러분의 코드 생성 모델이 저작권으로 보호되는 소스 코드를 기반으로 학습했다면 어떤 상황이 발생할까요? 해당 모델이 생성한 코드의 소유권도 저작권으로 보호되는 코드의 소유자가 보유하게 될까요?
이와 같은 많은 의문에 대해 아직 완전한 답이 나온 것은 아니지만, 그 결과는 반드시 잘 알고 있어야 합니다. 기업은 소유한 데이터에 대한 접근 권한과 관리 권한을 확보하고 그러한 데이터가 어떻게 처리되고 사용되는지 이해하기 위해 AI를 적극 도입하고 있습니다.
Red Hat은 혁신의 원동력을 제공하는 오픈소스의 잠재력, 그리고 고객에게 선택에 대한 권한을 제공하는 투명한 소프트웨어 개발 방식에 대한 한결같은 신념을 갖고 있습니다. 이러한 철학은 이제 AI로도 확대되었습니다. 우리의 접근 방식은 그러한 투명성과 선택권에 초점을 맞추며, 어떤 모델을 배포하든 관계없이 기업 조직이 필요로 하는 안정성과 선제적인 지원을 제공합니다.
적합한 AI 모델을 선택하는 일은 어렵습니다. 선택할 수 있는 모델이 수천 개나 있는 상황에서 어떤 모델이 프로덕션 환경에서 안정적으로 제 기능을 수행할지 어떻게 알 수 있을까요?
