AI 인프라 톺아보기

일상 생활에서 인공지능(AI)이 점점 더 많이 사용되면서 효과적이고 효율적인 워크플로우를 지원하는 구조의 중요성이 부각되고 있습니다. 인공지능 인프라(AI 인프라)가 필요한 것은 바로 이 때문입니다. 

잘 설계된 인프라는 데이터 사이언티스트와 개발자가 데이터에 액세스하고 머신 러닝 알고리즘을 배포하며 하드웨어의 컴퓨팅 리소스를 관리하는 데 도움이 됩니다.

AI 인프라는 안정적이고 확장 가능한 데이터 솔루션을 개발하고 배포하기 위해 인공지능과 머신 러닝(AI/ML) 기술을 결합합니다. 이 기술은 머신 러닝을 지원하여 머신이 사람처럼 사고할 수 있게 해줍니다.

머신 러닝이란 명시적으로 프로그래밍하지 않고도 패턴을 찾고, 예측하고, 경험을 통해 배우도록 컴퓨터를 학습시키는 기술입니다. 머신 러닝은 생성형 AI에 적용이 가능하며, 대량의 데이터를 분석하고 해석하는 머신 러닝 기술인 딥러닝을 통해 구현할 수 있습니다.

Red Hat AI 살펴보기

AI 인프라 기술 스택 

기술 스택은 소프트웨어 애플리케이션을 빌드하고 배포하는 데 사용하는 기술, 프레임워크, 툴의 집합입니다. 시각적으로 이러한 기술은 하나씩 '쌓여' 애플리케이션을 빌드합니다. AI 인프라 기술 스택은 세 가지 필수 계층을 통해 애플리케이션의 개발과 배포를 가속화할 수 있습니다. 

기업에서 AI 기술 스택은 어떤 모습일까요? 

애플리케이션 계층은 엔드 투 엔드 애플리케이션이나 최종 사용자 대상 애플리케이션과 같은 툴을 사용할 때 사람과 머신이 협업할 수 있는 기회를 제공합니다. 최종 사용자 대상 애플리케이션은 주로 오픈소스 AI 프레임워크를 통해 빌드되어 사용자 정의가 가능하고 특정 비즈니스 요구 사항을 충족하도록 맞춤화할 수 있는 모델을 생성합니다. 

모델 계층은 AI 제품이 작동하는 데 도움이 되며, 배포용 호스팅 솔루션을 필요로 합니다. 이 계층에는 기반을 제공하는 다음 세 가지 모델이 있습니다.

• 일반 AI: 인간 두뇌의 사고 능력과 의사 결정 능력을 모방합니다. 예를 들면 OpenAI의 ChatGPT나 DALL-E와 같은 AI 애플리케이션입니다.
• 특화 AI: 특정 분야의 데이터를 사용하여 정확한 결과를 생성합니다. 광고 카피와 노래 가사를 생성하는 태스크가 그러한 예입니다.
• 하이퍼로컬 AI: 각 분야의 전문 지식이 탑재되어 정확성과 관련성이 최고 수준에 도달할 수 있는 인공지능입니다. 과학 논문 작성이나 인테리어 디자인 모형 생성이 이에 해당합니다.

인프라 계층에는 모델 빌드 및 학습에 필요한 하드웨어와 소프트웨어가 포함됩니다. GPU(하드웨어), 최적화 및 배포 툴(소프트웨어)을 비롯한 전문 프로세서와 같은 구성 요소가 이 계층에 해당합니다. 클라우드 컴퓨팅 서비스도 인프라 계층에 속합니다. 

지금까지 AI 인프라와 관련된 세 가지 계층을 알아봤습니다. 이제부터는 AI 모델을 빌드, 배포, 유지관리하는 데 필요한 몇 가지 구성 요소를 살펴보겠습니다. 

데이터 스토리지

데이터 스토리지란 애플리케이션, 네트워크 프로토콜, 문서, 미디어, 주소록, 사용자 기본 설정 등을 구성하는 세부 데이터인 디지털 정보를 수집하고 보관하는 것을 말합니다. 데이터 스토리지는 AI 정보를 저장, 구성, 검색하는 데 중요합니다.

데이터 관리

데이터 관리란 데이터를 수집, 저장, 사용하는 프로세스를 말하며, 데이터 관리 소프트웨어의 지원을 받는 경우가 많습니다. 보유 중인 데이터 종류, 데이터 위치, 데이터 소유자, 데이터 확인 권한을 가진 사용자, 액세스 방법 등을 데이터 관리를 통해 파악할 수 있습니다. 데이터 관리 워크플로우는 올바른 제어와 구현을 통해서 더 나은 결정을 내리는 데 필요한 분석적 인사이트를 제공합니다.

최적화 소프트웨어

vLLM 및 llm-d와 같은 최적화 소프트웨어를 사용하여 하드웨어를 최대한 효율적으로 실행하세요.

• vLLM(가상 대규모 언어 모델)은 오픈소스 코드 라이브러리입니다. vLLM은 대규모 언어 모델(Large Language Model, LLM)이 계산을 더욱 효율적이고 대규모로 수행할 수 있도록 돕습니다. 구체적으로 설명하면 vLLM은 GPU 메모리를 더욱 효율적으로 활용하여 생성형 AI 애플리케이션의 출력을 가속화하는 추론 서버입니다.
• llm-d는 규모에 따라 분산 추론 속도를 높이는 쿠버네티스 네이티브 오픈소스 프레임워크입니다. llm-d는 vLLM의 강력한 기능을 기반으로 최대한 빠르고 효율적으로 처리할 수 있도록 코디네이터 역할을 합니다. 

AI 추론이란?

머신 러닝 프레임워크

머신 러닝(ML)은 알고리즘을 사용하여 데이터 세트 내에서 패턴을 식별하고 예측하는 인공지능(AI)의 하위 범주이며, 머신 러닝 프레임워크는 이러한 작업에 필요한 툴과 라이브러리를 제공합니다. 

머신 러닝 운영 

머신 러닝 운영(MLOps)은 머신 러닝(ML) 모델을 제작, 유지관리, 모니터링하는 프로세스를 간소화하기 위한 일련의 워크플로우 사례입니다. DevOps와 GitOps 원칙에서 영감을 받은 MLOps는 ML 모델을 소프트웨어 개발 프로세스에 통합하기 위해 끊임없이 진화하는 지속적인 프로세스를 구축하고자 합니다.  

AI/ML 환경 구축에 대해 자세히 알아보기

구성 요소가 잘 갖춰진 견고한 AI 인프라는 혁신과 효율성에 기여합니다. 하지만 AI 인프라를 설계할 때 고려해야 할 장점, 과제, 애플리케이션이 있습니다. 

장점

AI 인프라는 AI 운영 팀과 조직에 여러 가지 장점을 제공합니다. 그중 하나는 확장성으로, 특히 클라우드 기반 AI/ML 솔루션을 사용하여 운영 규모를 온디맨드로 늘리고 줄일 수 있습니다. 또 다른 장점은 자동화로, 반복적인 작업의 오류를 줄이고 결과물을 제공하기 위한 처리 횟수를 늘릴 수 있습니다.

서비스로서의 모델이란? 

과제

여러 장점에도 불구하고 AI 인프라에는 해결해야 할 과제도 있습니다. 최대 과제 중 하나는 처리해야 할 데이터의 양과 품질입니다. AI 시스템이 학습하고 의사 결정을 내리려면 대량의 데이터가 필요하므로 기존의 데이터 스토리지 및 처리 방법으로는 AI 워크로드의 규모와 복잡성에 대응하기에는 부족할 수 있습니다. 실시간 분석과 의사 결정이 요구된다는 점도 또 하나의 큰 과제입니다. 이러한 요구 사항은 AI 인프라가 데이터를 빠르고 효율적으로 처리해야 한다는 것을 의미하며, 이는 대용량 데이터를 다룰 수 있는 적합한 솔루션을 통합하기 위해 반드시 고려해야 할 사항입니다.

자동화가 어떤 도움이 되는지 알아보기

애플리케이션

이러한 과제를 해결할 수 있는 애플리케이션은 여러 가지가 있습니다. Red Hat® OpenShift® 클라우드 서비스는 애플리케이션을 빠르게 빌드, 배포, 확장하는 데 도움이 됩니다. 또한 선제적인 관리와 지원으로 일관성과 보안을 강화하여 효율성을 높일 수 있습니다. Red Hat Edge를 사용하면 데이터 수집 위치에 더욱 가깝게 배포하고 실행 가능한 인사이트를 확보할 수 있습니다.

AI/ML을 위한 클라우드 서비스에 대해 자세히 알아보기

보안 

AI 보안은 워크로드를 취약하게 만들거나, 데이터를 변조하거나, 민감한 정보를 탈취하는 것을 목적으로 하는 악의적인 공격으로부터 AI 애플리케이션을 방어합니다. 여기에는 AI 라이프사이클 및 기술 에코시스템을 위한 기밀성, 무결성, 가용성의 원칙이 적용됩니다. AI 시스템을 보호하려면 시스템에 대한 총체적 이해가 필요합니다. AI 기술과 인프라를 더 많이 이해할수록 더 효과적으로 보호할 수 있습니다.

AI 보안에 대해 자세히 알아보기

AI 인프라를 고려할 때 중요한 것은 추론입니다. 인프라는 추론 기능에 큰 영향을 미칠 수 있습니다. AI 인프라는 다음에 영향을 미칠 수 있습니다.

• 대기 시간.
• 초당 생성되는 토큰 수.
• 사용자 동시성.
• 비용.

추론을 지원하지 않는 AI 인프라는 응답 시간이 느려지고 대기 시간 관련 장애가 발생하며 확장 비용이 증가할 수 있습니다. 그렇기 때문에 추론 기능을 지원하는 하드웨어와 소프트웨어가 AI 전략의 성패를 좌우할 수 있습니다.

AI 추론에 주목해야 하는 이유

Red Hat AI는 AI 여정의 초기 단계에 있는 기업이든, 확장할 준비까지 마친 기업이든 상관없이 AI 여정에 오른 기업이라면 모두 도울 수 있는 제품 및 서비스 플랫폼입니다. 고유한 엔터프라이즈 활용 사례에 대한 생성형 AI와 예측 AI를 둘 다 지원할 수 있습니다.

Red Hat AI를 통해 Red Hat® AI Inference Server를 사용하여 하이브리드 클라우드 전반에서 모델 추론을 최적화함으로써 더 신속하고 비용 효율적으로 배포할 수 있습니다. vLLM 기반의 추론 서버는 GPU 활용도를 극대화하고 응답 시간을 향상합니다.

Red Hat AI Inference Server에 대해 자세히 알아보기

Red Hat AI Inference Server에는 모델 유연성을 허용하고 팀 간 일관성을 촉진하는, 제3자를 통해 검증되고 최적화된 모델 컬렉션인 Red Hat AI 리포지토리가 포함되어 있습니다. 기업은 제3자 모델 리포지토리에 액세스하여 시장 출시 시간을 단축하고 AI를 성공적으로 활용하는 데 드는 경제적 부담을 줄일 수 있습니다. 

Red Hat AI의 검증된 모델에 대해 자세히 알아보기