Granite 모델이란?

Granite는 IBM이 엔터프라이즈 애플리케이션용으로 만든 대규모 언어 모델(LLM) 시리즈입니다. Granite 파운데이션 모델은 언어 및 코드와 관련된 생성형 인공지능(생성 AI) 활용 사례를 지원할 수 있습니다.

Granite 제품군 모델은 Apache 2.0 라이센스로 보장되는 오픈소스이므로 개발자가 Granite 모델을 무료로 실험, 수정, 배포할 수 있습니다. 따라서 Granite 모델은 민감한 데이터를 다루며 외부 서비스에 의존하지 않고 자체 LLM을 실행하고자 하는 조직에 적합한 선택지입니다.

Granite가 Red Hat에서 작동하는 방법 알아보기

파운데이션 모델은 언어의 일반적인 패턴, 구조, 표현을 이해하고 기능하도록 학습됩니다. 바로 이 '파운데이션' 학습을 통해 모델은 그러한 패턴을 전달하고 파악하는 방법을 배웁니다. 이를 가리켜 AI 추론이라고 합니다. AI 추론은 AI의 작업 단계입니다. 이 단계에서 모델은 학습을 통해 배운 내용을 실제 상황에 적용할 수 있습니다."

AI 추론에 주목해야 하는 이유 

IBM Granite AI 모델은 거의 모든 산업에서 특정 태스크를 수행하도록 더욱 미세 조정(fine-tuning)될 수 있는 이러한 지식을 기본적으로 가지고 있습니다. Granite 제품군 모델은 엄선된 데이터를 기반으로 학습하며, 학습에 사용되는 데이터에 대한 투명성을 제공합니다.

LLM은 사용자가 입력하는 프롬프트에 따라 새로운 콘텐츠를 생성하기 위해 생성 AI를 사용합니다. 오늘날 사람들은 텍스트, 그림, 동영상, 코드 등을 생성하기 위해 생성 AI를 사용하는 경우가 많습니다. 기업은 LLM 파운데이션 모델을 사용하여 고객 지원 챗봇이나 소프트웨어 코드 테스트와 같이 운영의 다양한 측면을 자동화할 수 있습니다.

생성 AI를 사용하는 다른 LLM 파운데이션 모델로는 Meta의 LLaMa(LLaMa 2 및 LLaMa 3 포함), Google의 Gemini, Anthropic의 Claude, OpenAI의 GPT(ChatGPT 봇으로 유명), Mistral 등이 있습니다. 그러나 Granite AI 모델은 학습 데이터를 공개하여 사용자와 신뢰를 쌓고 엔터프라이즈 환경에 대한 적합성을 강화한다는 점에서 차별화됩니다.

Granite 모델은 오픈소스입니다. 일부 Granite AI 모델 시리즈는 오픈소스 라이센스에 따라 제공되므로 개발자가 손쉽게 모델에 액세스하고 로컬에서 이를 기반으로 구축할 수 있습니다. 그런 다음에는 특정 목표에 따라 모델을 미세 조정할 수 있습니다. 사용자는 모델을 학습시키는 데 사용되는 데이터(PDF)의 대부분에도 액세스할 수 있으므로 모델의 구축 방식과 기능을 이해할 수 있습니다.

Granite 모델에서 오픈소스란 개발자가 자신의 데이터로 모델을 사용자 정의하여 사용자별 출력을 생성할 수 있는 여지를 의미합니다. 프라이빗 데이터가 오픈소스 커뮤니티에 공개된다는 뜻이 아닙니다. 퍼블릭 웹 서비스 AI와 달리 Granite 모델은 지속적으로 학습하지 않습니다. 따라서 Granite 제품군 모델에 입력되는 데이터는 Red Hat, IBM 또는 기타 Granite 사용자에게 일절 공유되지 않습니다.

의료에서 건설에 이르기까지 여러 산업에서 기업은 다양한 방법으로 Granite를 사용하여 운영을 대규모로 자동화할 수 있습니다. Granite 모델은 요약, 질의 응답, 분류와 같은 비즈니스 영역의 태스크를 통해 학습할 수 있습니다. 다음은 몇 가지 예시입니다.

• 코드 생성: Granite 코드 모델은 개발자가 수행한 작업을 기반으로 구축하거나 개선하여 프로세스의 효율성을 강화하는 데 도움이 될 수 있습니다. 예를 들어, 개발자는 자동 완성 기능을 활용할 수 있습니다. 스마트폰의 자동 완성 기능과 마찬가지로 Granite 코드 모델은 개발자가 입력을 마치기도 전에 코드를 완성할 수 있습니다.
• 인사이트 추출: 대규모 데이터 세트를 간소화, 요약 또는 설명해야 하는 경우 Granite는 정확한 패턴과 인사이트를 신속하게 파악할 수 있습니다. 따라서 방대한 데이터를 샅샅이 살펴봐야 하는 번거로움을 줄여줍니다. 

• 유연한 아키텍처: Granite는 기존 시스템과 통합이 가능하며 온프레미스 또는 클라우드에 배포할 수 있습니다. Granite의 인터페이스는 배포를 간소화하도록 개발되었습니다. Granite 제품군에는 다양한 규모의 모델이 포함되어 있으므로 컴퓨팅 비용을 관리하면서 요구 사항에 가장 적합한 모델을 선택할 수 있습니다.
• 사용자 정의 솔루션: Granite는 파운데이션 모델로 판매되지만 특히 비즈니스에 특화된 지식을 학습하도록 설계되었습니다. 사용자는 모델을 유연하게 확장하고 미세 조정하여 비즈니스 필요에 맞게 조정할 수 있습니다. 예를 들어, 의료 기기에 중점을 둔 비즈니스라면 모델에 의료 산업에서 사용되는 용어를 가르칠 수 있습니다.
• 짧은 대기 시간: 자체 인프라에서 Granite 모델을 실행하면 응답 시간을 최적화하여 단축할 수 있습니다. 모델은 실시간 데이터를 제공할 수 있으므로 중요한 운영에 유용합니다. 의료 산업을 예로 들면, 실시간 데이터에 대한 접근성은 의사와 환자 간 원격 진료와 촌각을 다투는 응급 상황에 중요한 요소입니다. Granite 모델을 압축하면 적은 리소스로 강력한 성능을 낼 수 있습니다.
• 높은 정확성: 개발자는 산업별 태스크에 맞게 Granite 시리즈를 미세 조정하여 모든 주제에서 모델의 전문성을 높일 수 있습니다. 또한 모델은 여러 언어로 학습하여 전 세계적으로 정확성과 접근성을 유지할 수 있습니다.
• 투명한 모델: Granite는 오픈소스 라이센스에 따라 제공되므로 개발자가 AI 모델이 개발되고 학습한 과정을 확인할 수 있을 뿐만 아니라 오픈소스 커뮤니티와 협업할 수 있습니다.

예, Granite 모델은 분산 추론 기능을 지원합니다. 

분산 추론은 추론 작업을 상호 연결된 여러 기기에 분배하여 AI 모델이 더 효율적으로 워크로드를 처리하도록 하는 것을 말합니다. 분산 추론은 물리 서버 및 클라우드 서버를 포함해 여러 하드웨어에 요청을 분할하는 시스템을 지원합니다. 

그러면 각 추론 서버가 할당된 몫을 병렬로 처리하여 결과물을 생성합니다. 이를 통해 탄력적이고 관찰 가능한 시스템을 구축하여 일관되고 확장 가능한 AI 기반의 서비스를 제공할 수 있습니다. llm-d와 같은 프레임워크는 규모에 따른 분산 추론을 지원하여 기업 전반에서 생성형 AI 애플리케이션의 속도를 높입니다.

분산 추론의 다른 이점 자세히 알아보기 

간단히 말해, 추론 없이는 AI도 없습니다. 

그러나 추론은 계속해서 커지는 모델로 인해 많은 압박을 받습니다. 모델이 복잡해질수록 추론 속도가 느려집니다.

성공적으로 추론하려면 AI 모델이 단기간에 많은 연산을 수행해야 합니다. 따라서 모델 규모, 높은 사용자 볼륨, 대기 시간과 같은 요인은 모두 성능을 제한할 수 있습니다. 모델에 필요한 데이터와 메모리가 늘어날수록 하드웨어와 가속기가 따라잡기 어렵습니다.

그렇기 때문에 추론 기능을 지원하는 하드웨어와 소프트웨어가 AI 전략의 성패를 좌우할 수 있으며, Granite는 한 차원 높은 추론 성능을 지원합니다.

AI 추론에 주목해야 하는 이유 

IBM은 갈수록 복잡해지는 엔터프라이즈 애플리케이션의 요구 사항을 충족하기 위해 여러 Granite 모델 시리즈를 출시했습니다. Granite 제품군의 모델 시리즈에는 다양한 범주와 명명 규칙이 있습니다.

각 시리즈는 다음과 같이 용도가 다릅니다.

• 언어용 Granite: 여러 언어로 정확한 자연어 처리(NLP)를 제공하는 동시에 짧은 대기 시간을 유지하는 모델입니다. 

  생성형 AI 활용 사례 살펴보기

• 코드용 Granite: 100개 이상의 프로그래밍 언어를 토대로 학습하여 엔터프라이즈급 소프트웨어 태스크를 지원하는 모델입니다.
• 시계열용 Granite: 이 모델은 과거 데이터를 사용하여 미래를 예측하는 방법인 시계열 예측을 위해 미세 조정됩니다.

• 지리 공간용 Granite: IBM과 NASA가 환경 변화를 추적하고 해결하기 위해 대규모 위성 데이터를 수집하여 지구를 관측하고자 만든 파운데이션 모델입니다.

  예측 AI 활용 사례 살펴보기

이러한 각 시리즈 내에서 Granite는 규모와 전문 분야가 서로 다른 모델들을 제공합니다. 예를 들어 언어용 Granite에는 다음 요소가 포함됩니다.

• Granite-7b-base: 대화 및 채팅을 위한 범용 언어 모델
• Granite-7b-instruct: 태스크 지침을 따르는 데 특화된 모델

Hugging Face의 Granite 모델 살펴보기

Red Hat® AI는 AI 여정의 초기 단계에 있는 기업이든, 확장할 준비까지 마친 기업이든 상관없이 AI 여정에 오른 기업이라면 모두 도울 수 있는 제품 및 서비스 플랫폼입니다. 고유한 엔터프라이즈 활용 사례에 대한 생성형 AI와 예측 AI를 둘 다 지원할 수 있습니다.

Red Hat AI를 통해 Red Hat® AI Inference Server를 사용하여 하이브리드 클라우드 전반에서 모델 추론을 최적화함으로써 더 신속하고 비용 효율적으로 배포할 수 있습니다. vLLM 기반의 추론 서버는 GPU 활용도를 극대화하고 응답 시간을 향상합니다.

Red Hat AI Inference Server에 대해 자세히 알아보기

Red Hat AI Inference Server에는 모델 유연성을 허용하고 팀 간 일관성을 촉진하는, 제3자를 통해 검증되고 최적화된 모델 컬렉션인 Red Hat AI 리포지토리가 포함되어 있습니다. 기업은 제3자 모델 리포지토리에 액세스하여 시장 출시 시간을 단축하고 AI를 성공적으로 활용하는 데 드는 경제적 부담을 줄일 수 있습니다. 

Red Hat AI의 검증된 모델에 대해 자세히 알아보기