AI510

Serving Models at Scale with Red Hat AI Enterprise

効果

コースの説明 

エンタープライズ環境に AI モデルをデプロイする際には、機能するプロトタイプがあるだけでは十分ではありません。

サービングランタイムを評価し、モデルをプロダクション環境のハードウェアに合わせて最適化し、大規模に推論を管理し、パフォーマンスと信頼性を維持するためにデプロイ済みモデルを監視する必要があります。

Serving Models at Scale with Red Hat AI Enterprise (AI510) では、Red Hat OpenShift AI を使用してエンタープライズ規模で AI モデルをデプロイ、提供、管理する方法を学習します。受講者は、AI ファクトリー・フレームワーク、vLLM と KServe によるモデル提供、NVIDIA NIM マイクロサービス、llm-d による分散推論、Kueue によるワークロード・スケジューリング、プロダクションモデルの監視について、実践的な経験を得ることができます。

このコースは Red Hat OpenShift AI 3.4 に基づいています。

ビジネス上の成果

組織は AI モデルを実験段階から大規模なプロダクション環境へと移行させるのに苦労しており、そのために価値実現までの時間が長期化したり、インフラストラクチャへの投資を十分に活用できなかったりといった状況が発生しています。このコースを受講したチームは、Red Hat AI 上で AI モデルを効率的にデプロイ、最適化、運用する能力を身に着け、プロトタイプとプロダクションの間に存在するギャップの解消や、組織全体で信頼性とコスト効率の高いモデル提供を行うことができるようになります。

 受講者にとっての成果

このコースを修了した受講者は、サービングランタイムを評価し、Red Hat OpenShift AI 上で vLLM、KServe、NVIDIA NIM を使用して生成 AI や予測型 AI モデルを大規模に最適化およびデプロイすることができます。また、分散推論やワークロード・スケジューリングを構成し、プロダクション環境にデプロイされたモデルを監視することもできます。

準備

コース対象者

Red Hat OpenShift AI 上で AI モデルの大規模なデプロイ、提供、管理を担当する AI プラットフォーム・エンジニア、ML 運用チーム、インフラストラクチャ管理者。 

推奨される準備

  • Red Hat OpenShift の概念に精通していること、または Red Hat OpenShift Developer II: Building and Deploying Cloud-native Applications (DO288) コースを修了していること。
  • 大規模言語モデル、AI/ML の概念、モデル提供の基本を理解していること。
  • Red Hat OpenShift AI プラットフォームを初めて使用する受講者には、Developing and Deploying AI/ML Applications on Red Hat OpenShift AI (AI267) コースの受講を推奨します。 

 

Red Hat トレーニングや認定に登録する前に、無料のスキル評価を受けることをお勧めします。 詳細はこちら

学習内容

AI0024L - Scale AI with the AI Factory Framework

ビジネスコンテキストにおける AI ファクトリーの概念を評価し、組織の AI イニシアチブとの関連性について考え、組織独自の AI ファクトリーの構築を支援する Red Hat ソリューションについて検討します。

AI0036L - Assessing the Red Hat AI Platform for Enterprise Model Serving

Red Hat OpenShift AI プラットフォームのアーキテクチャとモデル提供機能を評価し、それらがエンタープライズ AI ワークロードをどのようにサポートするかを判断します。

AI0037L - Evaluating Serving Strategies and Selecting Models for Enterprise AI Workloads

RHOAI の提供スタック、ランタイム、モデルオプションを評価して、予測型 AI および生成 AI のワークロードに適した提供戦略とモデル選択を判断します。

AI0040L - Preparing and Optimizing Models for Deployment on Red Hat AI

標準化された配布用の OCI モデルイメージを構築し、モデルを量子化して GPU メモリー使用量を削減し、vLLM プラグインを使用してカスタム ServingRuntime を作成して非標準モデル・アーキテクチャをデプロイすることで、Red Hat AI 上のプロダクション環境へのデプロイ用に AI モデルをパッケージ、最適化、拡張します。

AI0031L - Serving Large Language Models on Red Hat AI Using vLLM, KServe, and the Model Registry

vLLM、KServe、モデルレジストリを使用して、大規模言語モデルを Red Hat AI 上で大規模に提供します。

AI0032L - Serving AI Microservices with NVIDIA NIM and Scheduling Workloads with Red Hat Build of Kueue

NVIDIA NIM を提供プラットフォームとして使用し、Red Hat AI でワークロード・キューイングを管理します。

AI0038L - Deploying and Serving AI Models on Red Hat AI

Red Hat AI で、生成 AI と予測型 AI の両モデルをデプロイ、検証、管理します。

AI0039L - Distributed Inference with Llm-d

Red Hat OpenShift AI で、分散推論用 の llm-d をデプロイし、設定します。

AI0033L - Monitoring Deployed Models on Red Hat AI

Red Hat AI 上でメトリクスを収集し、ダッシュボードを構築し、アラートを設定することで、デプロイされた AI モデルを監視します。

次のステップ

成長するための道筋を見つけましょう。ご自身の経験レベルとキャリア目標に合った推奨コースおよび認定資格をご紹介します。 スキルパスを見る

場所を選択する

スキル習得をサポートするさまざまな方法

エキスパートによるバーチャルトレーニングと自習型学習の両方のメリットを活用できるほか、エキスパートによるサポートや認定試験も利用できます。これらはすべて、Red Hat ラーニングサブスクリプションに含まれています。

オンサイトトレーニングをご利用いただけます

ご要望に応じて、お客様の施設内でチーム全体へのトレーニングも実施いたします。対面形式かリモート形式かを選択していただけます。

Red Hat ラーニングサブスクリプション

Red Hat 製品に関する包括的なトレーニングとラーニングパス、業界で認められた認定、柔軟で動的な IT 学習体験。