Red Hat Summit
Red Hat AI
비즈니스 환경에 맞는 AI 구축
조직이 보유한 리소스와 인사이트를 활용하고 조직에 필요한 자유를 확보하여 AI 가치를 실현하세요.
Red Hat® AI는 최초 실험에서 완전한 프로덕션에 이르기까지 비즈니스에 가장 적합한 AI 솔루션을 구축하고 실행할 수 있도록 설계되었습니다.
Red Hat AI의 포함 사항은 다음과 같습니다.
Red Hat Enterprise Linux AI
Red Hat Enterprise Linux® AI는 아직 비즈니스 활용 사례를 정의하지 않은 AI 여정의 시작 단계에 있는 고객을 지원할 수 있습니다. 이 AI 플랫폼은 생성형 AI(생성 AI) 파운데이션 모델을 개발, 테스트, 실행하기 위해 구축되었습니다.
특징 및 장점
- IBM의 Granite LLM 제품군 포함
- InstructLab으로 모델을 로컬에서 미세 조정
- 제한된 GPU 액세스를 통해 고객의 비용 절감
Red Hat OpenShift AI
Red Hat OpenShift® AI는 AI 애플리케이션을 확장할 준비가 된 고객을 위해 개발되었습니다. 이 AI 플랫폼은 하이브리드 클라우드 환경 전반에서 예측 AI 모델과 생성 AI 모델의 라이프사이클을 관리하는 데 도움이 됩니다.
특징 및 장점
- 엔터프리이즈 MLOps 기능
- IBM Granite LLM 및 InstructLab 툴링 포함
- 하드웨어 가속기와 하이브리드 클라우드 지원을 통해 AI를 규모에 맞춰 구축 및 제공
InstructLab으로 LLM을 로컬에서 커스터마이징
Red Hat의 InstructLab은 머신 러닝 경험이 적은 개발자도 IBM의 Granite 모델을 쉽게 실험할 수 있도록 지원하는 커뮤니티 기반 프로젝트입니다.
원하는 AI 모델을 실험하거나 로컬 하드웨어에서 파운데이션 모델을 미세 조정하려는 경우 이 플랫폼으로 시작하면 좋습니다.
이를 통해 AI를 기업에 도입하기 전에 AI 모델을 실험하는 데 따른 비용 및 리소스 장벽을 없앨 수 있습니다.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
AI 파트너가 많을수록 발전의 기회는 많아집니다.
고객이 AI를 더욱 다양하게 활용할 수 있도록 전문가와 기술을 함께 제공합니다. 다양한 기술 파트너들이 Red Hat과 협력하여 솔루션의 상호 운용성을 인증하고 있습니다.
솔루션 패턴
Red Hat과 NVIDIA AI Enterprise를 활용한 AI 애플리케이션
RAG 애플리케이션 생성
Red Hat OpenShift AI는 데이터 사이언스 프로젝트를 빌드하고 AI 기능을 탑재한 애플리케이션을 제공하기 위한 플랫폼입니다. 자체 참조 문서에서 AI 답변을 얻는 방법인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 지원하는 데 필요한 모든 도구를 통합할 수 있습니다. OpenShift AI를 NVIDIA AI Enterprise와 연결하면 대규모 언어 모델(Large Language Model, LLM)을 실험하여 애플리케이션에 대한 최적의 모델을 찾을 수 있습니다.
문서 파이프라인 구축
RAG를 활용하려면 먼저 문서를 벡터 데이터베이스에 수집해야 합니다. 예시 애플리케이션에서는 제품 문서 세트를 Redis 데이터베이스에 임베드합니다. 이러한 문서는 자주 변경되기 때문에, 이 프로세스에 대한 파이프라인을 구축하여 주기적으로 실행하면 항상 최신 버전의 문서를 확보할 수 있습니다.
LLM 카탈로그 살펴보기
NVIDIA AI Enterprise에서 다양한 LLM 카탈로그에 액세스하여 여러 가지 옵션을 사용해 보고 그중에서 최상의 결과를 제공하는 모델을 선택할 수 있습니다. 모델은 NVIDIA API 카탈로그에 호스팅됩니다. API 토큰을 설정한 후에는 OpenShift AI에서 바로 NVIDIA NIM 모델 서빙 플랫폼을 사용하여 모델을 배포할 수 있습니다.
적합한 모델 선택
다양한 LLM을 테스트하면서 사용자는 생성된 각 응답을 평가할 수 있습니다. Grafana 모니터링 대시보드를 설정하면 각 모델의 평점, 대기 시간, 응답 시간을 비교할 수 있습니다. 그런 다음 해당 데이터를 기반으로 프로덕션에서 사용하기에 가장 적합한 LLM을 선택할 수 있습니다.
Red Hat AI 실제 활용 사례
성장을 가속화하고 시장 출시 시간을 단축한 Ortec Finance
위험 및 수익 관리를 위한 글로벌 기술 및 솔루션 제공업체인 오르텍 파이낸스(Ortec Finance)는 Microsoft Azure Red Hat OpenShift에서 ML 모델을 제공하고 Red Hat AI를 도입하고 있습니다.
한 차원 높은 클라우드 컴퓨팅을 제공하는 Phoenix Systems
피닉스 시스템즈(Phoenix Systems)는 Red Hat과 협업하여 고객에게 다양한 옵션, 투명성, AI 혁신을 제공하고 있습니다.
데이터 사이언티스트의 역량을 강화한 Denizbank
데니즈뱅크(DenizBank)는 고객 대출과 사기 가능성을 파악할 수 있는 AI 모델을 개발하고 있습니다. 소속 데이터 사이언티스트들은 Red Hat AI를 사용하여 데이터에 대한 새로운 수준의 자율성을 확보했습니다.
