NVIDIA および Red Hat AI 上の Model-as-a-Service (MaaS) でエンタープライズのソフトウェア開発を加速

可能な限り効率的かつ迅速にソフトウェアを開発することは、競争力を維持するための必須条件です。新製品をより早く市場に投入できるほど、顧客への対応に関してより大きな優位性を得ることができます。近年、 AI コーディングは、面倒で反復的なタスクを処理し、デバッグやテストをより迅速に行うことで、これらの課題を解決するための強力な手段となっています。これにより、より影響の大きい開発作業に貴重な時間を充てることができます。

しかし、生成 AI を活用したコーディングの急速な導入は、新たなエンタープライズレベルの課題をもたらしています。AI ツールの使用を拡大するにつれて、組織は極めて重要な問いに直面します。長期的なコスト効率を確保するにはどうすればよいか。コードベース内およびその周辺の知的財産や機密データを、どのように保護できるか。また、データおよび規制遵守に関する義務をどのように満たせばよいのでしょうか。 

ほとんどの組織は、ホスト型モデルサービスで AI の取り組みを開始します。これは多くの場合、優れた出発点になります。しかし使用量が増えると、トークン数に基づいて課金されるホスト型のサードパーティのエンドポイントに依存するようになり、予測不可能で高額な運用コストが発生する可能性があります。さらに、スタック全体のインフラストラクチャ、セキュリティ、ガバナンスの制御はほとんどできなくなります。このコントロールの欠如は企業組織にとって課題となり、長年にわたり正当に認められてきた方針に例外を設けることを余儀なくされることがあります。 NVIDIA と Red Hat は、Red Hat AI Factory with NVIDIA などのプラットフォームによって、お客様がこれらの課題を克服できるよう支援しています。これにより、お客様がセキュリティ、アクセスポリシー、および GPU の使用状況を制御しつつ、独自のハイブリッドクラウド・インフラストラクチャ上で高性能な推論とチューニングを実行できるようになります。 

Models-as-a-Service:自社の条件に基づくエンタープライズ AI

これらの課題への対処には、 Red Hat AI 上の Models-as-a-Service (MaaS) も役立ちます。

MaaS は Red Hat AI に完全に統合された機能であり、企業による AI の管理方法を根本的に変化させます。これにより、中央の IT チームは、組織の条件に基づいて、独自のマルチテナント・インフラストラクチャ上で独自のモデルをホストし、管理できるようになります。これらのモデルは、制御された API トークンアクセスを通じて利用可能になり、複数の社内ユースケースやチームをサポートできるようになります。

独自のプライベートのホスト型モデルサービスを運用するこのアプローチにより、これまでにないレベルのガバナンスと制御が可能になります。管理者は、ユーザー層を定義および設定し、チームやプロジェクトごとに特定の使用制限を規定できます。これにより、それぞれの社内ユーザーに必要なリソースを確保し、高価なリソースがアイドル状態のまま放置されて不要に過剰消費されるのを防ぎます。これにより、モデルへのアクセスを単純化して消費量を管理できるほか、中央の IT チームはメトリクスを監視し、容量とコンピューティングの要件を予測し、高度な制御と予測可能性に基づいてチャージバックを実行できるようになります。

新しい AI クイックスタートで、独自のプライベート AI コードアシスタントを起動する

AI コーディングへの実用的で安全かつコスト管理された道筋の必要性を認識し、Red Hat は新たに以下の内容を追加しました。NVIDIA と MaaS でエンタープライズのソフトウェア開発を加速するための AI クイックスタートを、 AI クイックスタートカタログに追加しました。この AI クイックスタートは、シンプルですぐに役立つソリューションを使用して、Red Hat AI ですぐに開始できるように設計された、すぐに実行可能なデプロイメントです。

この AI クイックスタートは、Red Hat AI 内で NVIDIA Nemotron オープンモデルと NVIDIA アクセラレーテッド・コンピューティングの力を活用し、独自のプライベート AI コードアシスタントをデプロイするためのシンプルで再現性の高い手段です。

AI クイックスタートに含まれるもの

AI クイックスタートは、高性能でセキュアな AI コードアシスタントに必要なすべてのコンポーネントを提供します。

プラットフォーム： Red Hat AI は、Red Hat OpenShift を基盤として、すべてのモデルと AI ワークロードのオーケストレーション層を提供します。

推論： KServe を備えた vLLM と llm-d は、モデルを大規模に実行する際に必要な分散推論向けの性能を提供し、可能な限りの高パフォーマンスと最適なリソース使用率の達成を可能にします。

大規模言語モデル (LLM) ： AI クイックスタートは、NVIDIA Nemotron 3 Nano 30B A3B モデルなどの主要な LLM を使用しています。これは FP8 精度に量子化されたモデルであり、効率的な推論、チャット、およびエージェント型 AI アプリ向けに設計されています。

Models-as-a-Service: Red Hat AI ダッシュボードに完全に統合されており、使用状況の追跡、ガバナンス、およびチーム間での単純なチャージバックに必要なデータのための API ゲートウェイを提供します。

Red Hat OpenShift Dev Spaces ： OpenShift Dev Spaces は、すべて同じクラスタ内で開発およびデプロイを行うためのクラウドネイティブな IDE インスタンスをチームに提供します。

注：OpenShift Dev Spaces は OpenShift サブスクリプションに含まれています。

可観測性： OpenShift の Prometheus Operator を介して、チーム全体でのモデルの使用状況とパフォーマンスを把握するために必要な推論メトリクスと GPU テレメトリーを取得できます。

GPU アクセラレーション ： この AI クイックスタートは、NVIDIA GPU Operator によって有効にされ、NVIDIA AI Enterprise  サブスクリプションを通じて NVIDIA がサポートする NVIDIA AI インフラストラクチャ上で動作します。この Operator は、GPU を有効にし、必要なドライバー、NVIDIA Data Center GPU Manager (DCGM)、コンテナツールキット、およびサポートされているアクセラレーターを分割するための MIG 機能を管理します。 

主なメリット

コードアシスタント AI クイックスタートは、主に 3 つのビジネス上のメリットを提供します。

1.予測可能なコストと予算管理

独自のインフラストラクチャを運用することで、使用制限やクォータの実装、消費量の詳細な監視を行うための組み込み機能を自ら管理できます。これにより、予算の追跡がシンプルになり、規模拡大に伴うコスト予測が容易になります。

2.組み込まれたセキュリティとコンプライアンス

厳格なガバナンス要件を持つ組織にとって、セキュリティは妥協できない要素です。AI クイックスタートは、コードを組織の境界内に留めるオンプレミスまたはプライベートクラウドのデプロイメントのサンプルを提供します。モデルは、自らが管理するインフラストラクチャ上で内部的にホストするため、外部の API 呼び出しやデータ漏洩の懸念に対処する必要はありません。

3.トップクラスの開発者エクスペリエンス

私たちは、開発者がより迅速かつ効率的に作業するために必要とする、高性能な環境の基盤を提供しています。NVIDIA GPU と当社の vLLM および llm-d 推論スタックを備えたプラットフォームの高速な推論は、エンタープライズ規模で迅速な推論を提供します。このパフォーマンスを OpenShift Dev Spaces 環境との組み合わせにより、開発者は同じクラスタ内で共同作業を行い、生産性を向上させることができます。 

今すぐ始める

Models-as-a-Service や NVIDIA モデルを AI コーディングに活用する準備はできておられますか？ 

• NVIDIA と MaaS によるエンタープライズのソフトウェア開発を加速する AI クイックスタートをご覧ください。
  • この AI クイックスタートは、完全なデプロイメントコードを含む GitHub リポジトリにリンクしています。
• ハードウェアとソフトウェアの要件を確認する
• AI クイックスタートの使用に関するご質問やガイダンスについては、GitHub Issue またはお客様担当の Red Hat チームにお問い合わせください。

関連資料

• AI クイックスタートカタログを見る
• NVIDIA Nemotron の詳細
• Red Hat AI Factory with NVIDIA の利点を確認する