엔터프라이즈 AI란?

엔터프라이즈 AI는 인공지능(Artificial Intelligence, AI) 툴과 머신 러닝 소프트웨어를 거대 규모의 운영 및 프로세스에 통합한 것을 말합니다.  

업계를 불문하고 모든 조직이 한정적인 인력과 리소스로 효율성을 개선하고 업무 생산성을 높이기 위해 AI 기술을 앞다투어 도입하고 있습니다. 특히 기업의 경우 여러 팀 및 워크로드 전반에서 광범위하고 효율적으로 작동하는 AI 솔루션을 필요로 합니다.

Red Hat AI 살펴보기

의료, 통신 금융과 같은 산업은 업계에서 경쟁 우위를 확보하기 위해 AI를 사용하고 있습니다. 그 목표는 재무 간소화, 고객 경험 개선, 업무 효율성 향상 등 다양합니다. 기업은 일상적인 작업과 복잡하고 시간이 오래 걸리는 문제 해결에 생성형 AI와 예측 AI를 적용하는 방법을 빠르게 배워나가고 있습니다. 

Red Hat AI 고객 사례 살펴보기 

AI 추론 시작하기

엔터프라이즈 AI는 비즈니스를 다르게 바라볼 수 있는 기회를 제공합니다. 이제 기업은 문제 해결에 몇 년씩 걸리던 것을 불과 몇 주로 단축할 수 있습니다. 

대기업은 신속하고 정확한 AI 기술을 사용하여 대량의 데이터를 분류하고 새로운 비즈니스 아이디어를 빠르고 안정적으로 실험해 볼 수 있습니다. 이러한 기회의 유형과 비즈니스에 제공하는 이점, 그리고 AI가 그 과정에서 수반할 수 있는 문제를 해결하는 방법을 이해한다면 많은 도움이 될 것입니다. 

추론도 마찬가지로 중요하다는 것을 이해해야 합니다. 간단히 말해, 추론 없이는 AI도 없습니다. 엔터프라이즈급 전략을 실행하는 데 거대 모델이 필요한 경우 상황이 복잡해질 수 있습니다. 그렇기 때문에 엔터프라이즈 AI 추론 기능을 지원하는 하드웨어 및 소프트웨어가 AI 전략의 성패를 좌우할 수 있습니다.

AI 워크로드를 규모에 맞게 성공적으로 배포하려면 여러 연계 요소들이 얼마나 효율적이고 효과적으로 연동하는지가 관건입니다. 특히, 대규모 AI 모델(예: LLM) 및 더 복잡한 추론 기능을 지원할 수 있는 추론 서버는 엔터프라이즈 AI 워크로드를 확장하는 데 있어 핵심입니다.

이러한 AI 툴은 추론 역량을 강화하고 엔지니어의 리소스 활용 효율을 높일 수 있습니다. 

• llm-d: LLM 프롬프트는 복잡하고 비균일합니다. 일반적으로 대량의 데이터를 처리하려면 방대한 컴퓨팅 리소스와 스토리지가 필요합니다. 개발자는 llm-d와 같은 오픈소스 AI 프레임워크를 통해 분산 추론과 같은 기술을 사용하여 LLM과 같이 정교하고 규모가 큰 추론 모델에 대해 증가한 수요를 충족할 수 있습니다.
• 분산 추론: 분산 추론은 추론 작업을 상호 연결된 일련의 기기에 분배하여 AI 모델이 더 효율적으로 워크로드를 처리할 수 있도록 하는 것을 말합니다. “백지장도 맞들면 낫다”라는 속담을 소프트웨어 분야에 적용한 것과 같습니다.  
• vLLM: 가상 대규모 언어 모델(Virtual Large Language Model)을 의미하며, vLLM 커뮤니티에 의해 유지 관리되는 오픈소스 코드 라이브러리입니다. GPU 스토리지를 더 효율적으로 사용하여 LLM이 대규모로 계산을 수행할 때 효율성을 높입니다.
• Mixture of Experts(MoE): MoE는 모델 내에서 처리 능력이 가장 높은 부분에 태스크를 라우팅하여 AI 추론을 가속화하는 모델 아키텍처 기술입니다. 특히 MoE 모델은 특정 하위 범주에 대해 신속하고 정확하게 답변하도록 학습합니다. 

AI 추론에 주목해야 하는 이유 

엔터프라이즈 AI 솔루션은 기업이 더 나은 비즈니스 모델을 개발하고 그러한 모델의 구현을 방해하는 장애물을 줄이는 데 도움이 되는 장점을 제공합니다. 

예를 들면 다음과 같습니다. 

• 비용 절감. AI 자동화는 일상적인 태스크를 자동화하고 반복 작업을 줄여 직원이 가치 있는 일에 역량을 집중할 수 있도록 합니다.
• 고객 경험 개선. AI는 뛰어난 데이터 분석 및 패턴 인식 능력을 제공하며, 그 범위에는 사람의 행동도 포함됩니다. 이 실시간 인사이트를 통해 고객이 브랜드와 상호작용하는 방식을 개선할 수 있습니다.
• 오류 방지. AI는 패턴을 인식할 뿐만 아니라 이상 상황을 포함해 미래를 예측하는 능력도 갖추고 있습니다. 예측 AI로 오류 또는 오작동을 사전에 감지하여 대규모 다운타임을 막고 중대한 생산성 저하를 방지할 수 있습니다. 

예측 AI 활용 사례에 대해 알아보기 

기업에서 AI를 활용하는 경우 주요 장점 중 하나는 부문 간 협업을 간소화할 수 있다는 것입니다. 이것이 없다면 다른 장점은 기업 수준에서 아무런 효과도 발휘하지 못합니다. 엔터프라이즈 AI 플랫폼은 팀이 과거에 소통 오류가 발생할 가능성이 있는 영역에서 더 쉽게 협업하도록 할 수 있어야 합니다. 

팀이 더 빠르고 스마트하게 업무를 수행할 수 있다면 비효율성이 전반적으로 감소할 것입니다. 특히 모든 사람이 하나의 플랫폼에서 원활하게 작업할 수 있다면 더욱 그렇습니다. 

엔터프라이즈 AI 활용 사례 자세히 보기 

엔터프라이즈 AI 솔루션은 기업을 성장시키는 기회를 제공하지만, 그와 동시에 잠재적인 위험에 노출시킬 수도 있습니다. 이러한 위험을 이해함으로써 더 탄탄한 준비를 갖추고 예측 불가능한 부분을 줄일 수 있습니다.

엔터프라이즈 AI는 일반적으로 다음과 같은 위험을 수반합니다.  

• 유해한 편향.  머신 러닝 모델은 과거 데이터로부터 학습하므로 의사 결정에 영향을 미칠 가능성이 있는 편향과 차별까지 학습할 수 있습니다. 편향은 생성형 AI에서 잘못된 답변의 형태로 나타날 수 있으며, 예측 AI에서는 부정확한 예측이라는 결과로 이어질 수 있습니다. 오염되지 않은 데이터는 정확성을 높이고 더 나은 예측을 할 수 있도록 돕습니다.
• 신뢰할 수 없는 정보. AI는 환각을 일으킬 수 있습니다. 이는 일견 타당한 것으로 보이지만 실제로는 부정확한 정보를 뜻합니다. 이러한 결과는 단순히 불쾌감을 유발하는 수준(한쪽 손의 손가락이 여섯 개인 사람의 이미지)부터 위험할 수 있는 수준(의료 관련 조언을 찾는 사람에게 잘못된 조언을 제공하는 챗봇)까지 다양합니다.

• 보안 리스크와 법적 위험. AI 시스템은 보안 측면의 위험을 야기할 수 있습니다. 사용자는 안전하지 않게 설계된 애플리케이션에 민감한 정보를 입력할 가능성이 있으며, 이 경우 데이터 침해의 위험이 커집니다. 또한 생성형 AI의 응답은 저작권으로 보호되는 콘텐츠를 재생산하거나 실제 사람의 음성이나 신원을 동의 없이 무단 도용하여 법적 위험을 초래할 수 있습니다. 

  AI 워크로드를 보호하는 방법

엔터프라이즈 AI 플랫폼은 무궁무진한 기회를 제공할 수 있지만, 의도대로 영향력을 발휘할 수 있게 하려면 상당한 리소스와 지속적인 협업이 필요합니다. 

엔터프라이즈는 다음과 같은 공통적인 과제에 직면해 있습니다.

• 역량 및 인재 부족. AI를 이해하고 유용하게 활용하려면 새로운 역량이 필요합니다. 팀을 채용, 온보딩하고 교육하려면 상당한 시간과 리소스가 소요될 수 있습니다.
• 높은 비용. 기업에서 AI 시스템을 관리하고 빠른 속도로 운영하려면 방대한 리소스가 필요합니다. 기술을 지속적으로 실행하기 위해 필요한 컴퓨팅 능력과 숙련된 인력을 확보하려면 많은 비용을 지출해야 합니다.
• 확장의 어려움. 기업에서 AI를 확장하려면 상당한 컴퓨팅 및 스토리지 리소스가 필요할 수 있습니다. 정교하고 규모가 큰 추론 모델은 복잡하고 불균일하여 추론 속도가 느려질 수 있습니다. llm-d와 같은 프레임워크는분산 추론의 문제를 해결할 수 있으므로 빠르게 대규모로 추론하는 복원력 좋고 관측 가능한 시스템을 통해 개발자와 AI 엔지니어를 지원합니다.
• AI에 대한 불신. 변화 속도가 빠르고 미지수가 많은 경우 AI 채택을 어렵게 할 수 있습니다. AI는 이해하기 어렵고 신뢰할 수 없는 것으로 보일 수 있습니다. 팀의 신뢰를 얻고 성공의 필수 요소인 협업을 장려하려면 추가적인 노력이 필요할 수 있습니다. 

에이전틱 AI가 기업 규모에 맞는 확장을 지원하는 방법 알아보기

AI 추론은대량의 변수가 많은 활용 사례에 사용되고 있습니다. 그러나 LLM을 규모에 맞게 일관되게 배포하려면 많은 컴퓨팅 성능, 리소스, 전문적인 운영 기술이 필요합니다. 

vLLM은 기업의 AI 추론을 지원하는 데 필요한 하드웨어를 더 효율적으로 사용하여 이러한 문제를 극복할 수 있습니다. 이러한 이유로 vLLM은 속도 외에도 유연성과 제어 능력이 필요한 산업에 특히 매력적인 옵션입니다.

오픈소스 솔루션인 vLLM을 통해 기업은 다음을 수행할 수 있습니다. 

• GPU 소유 및 관리
• 데이터 제어.
• 최신 모델이 출시되자마자 사용.

vLLM은NVIDIA 및 AMD GPU, Google TPU, Intel Gaudi, AWS 뉴런 등 다양한 하드웨어에 배포할 수 있습니다. 또한 vLLM은 특정 하드웨어에 국한되지 않으므로 클라우드, 데이터센터 또는 엣지에서 작동합니다.

잘 알려진 3개 조직은 vLLM을 사용하여 

AI는 많은 부분이 유동적입니다. 그러나 다른 모든 기술 스택과 마찬가지로 엔터프라이즈 AI 스택도 다양한 소스의 툴, 서비스, 플랫폼, 소프트웨어로 구성되며, 이러한 요소가 결합되어 하나의 완전한 솔루션을 제공합니다. 

AI 기술 스택은 대규모 언어 모델, 런타임, 하드웨어 가속기, 기업이 보유한 데이터를 포함한 다양한 계층으로 이루어집니다. MCP(Model Context Protocol)와 같은 프로토콜로 AI 스택의 다양한 부분이 함께 작동하도록 도울 수 있습니다. 

스택 구성은 가변적이며, 기업의 활용 사례, 목표, 가용 리소스와 같은 요인에 따라 다를 수 있습니다. 

AI 기술 스택의 특징은 고정적이지 않다는 것입니다. 샌드위치처럼 어느 한 요소가 반드시 다른 요소 바로 위에 겹쳐지는 것이 아닙니다. 스택은 함께 조화를 이뤄 작동해야 하며, 각 계층은 전체를 위해 고유한 역할을 수행합니다. 

스택의 형태와 관계없이, AI 스택의 목표는 AI 솔루션의 모든 유동적인 부분을 위한 홈 베이스를 구축하는 것입니다. 이를 통해 여러분과 팀이 개선이 필요한 영역을 확인하고 스택이 어떻게 작동하고 있는지 평가할 수 있습니다. 

AI 전략에는 특정 AI 지원 팀을 구성하거나 예산의 일부를 AI 제품 및 서비스 전용으로 할당하는 것이 포함될 수 있습니다. 

다음은 엔터프라이즈 AI를 도입하거나 구현하거나 확장하는 경우에 고려해야 할 사항입니다. 

• 목표 결정. AI를 도입하여 얻을 수 있는 효과를 이해한다면 비즈니스를 성장시키고자 하는 방향을 결정할 수 있습니다. 명확한 최종 목표를 수립하면 역으로 어디에서 시작해야 할지 알 수 있습니다. 

• 데이터 무결성 확인. 데이터는 성공적인 AI 전략의 핵심입니다. 데이터가 건강하지 않다면 소프트웨어와 플랫폼은 빈 껍데기에 불과합니다. 정확하며 편향으로 오염되지 않은 최신 상태의 데이터를 바탕으로 기술 스택의 가치를 극대화할 수 있습니다. 

• 작게 시작하기. 모든 환경에 걸쳐 확장할 준비가 되어 있지 않다면 자체 하드웨어에서 작은 모델로 실험해 보세요. 초보자 수준에서 AI에 익숙해지게 되면 확장했을 때 직면할 문제에 더 효과적으로 대비할 수 있습니다. 

• 전문가와 협업. AI는 쉽게 생각해서는 안 되며, 금세 매우 복잡해질 수 있습니다. 이 기술에 대해 잘 알고 있는 팀과 협업하는 것이 보편적인 관행이자 권장되는 방식입니다. 

Red Hat AI 서비스 살펴보기 → 

• AI 운영화.운영화된 AI 전용의 AI 플랫폼은 AI 애플리케이션 라이프사이클 관리를 간소화합니다. 이러한 플랫폼은 앞에서 언급한 부문 간 협업을 촉진하며 모든 팀과 함께 확장할 수 있도록 돕습니다. 

• 디지털 주권. 디지털 주권이란 조직이 자체 디지털 자산을 제어할 수 있는 능력을 말합니다. 즉, 데이터가 어디에 저장되는지, 시스템이 어떻게 운영되는지, 그리고 액세스 권한이 누구에게 있는지를 결정할 수 있는 권한입니다. 외부 공급업체에 제어권을 넘겨주는 것이 아니라, 기업이 데이터와 기술을 '지배'하는 것으로 생각하면 쉽습니다. 디지털 주권은 인프라, 운영, AI 워크로드 등에 적용할 수 있습니다.

장기적 성장을 위한 AI 전략을 수립하는 방법 → 

Red Hat® AI는 vLLM 기반 서버로 신속하고 유연하며 효율적인 추론 성능을 제공합니다. 모델과 데이터를 안정적으로 연결하여 하나의 플랫폼에서 전문 에이전트의 사용자 지정 및 개발을 통합합니다. 오픈소스 기반의 당사 제품으로 규모와 상관없이 AI 워크플로우의 모든 과정을 완전히 제어할 수 있습니다. 

Red Hat AI Portfolio에 Red Hat AI Enterprise가 포함됩니다. Red Hat AI Enterprise는 모든 인프라에서 AI 추론, 에이전틱 AI 워크플로우, AI 기반 애플리케이션을 배포, 관리, 확장할 수 있는 플랫폼입니다.

Red Hat AI 살펴보기