Red Hat AI 3、スピード、迅速なデリバリー、スケーリングを実現

今年 5 月の Red Hat Summit で、Red Hat AI ポートフォリオに関するいくつかの発表を行いました。それには、Red Hat AI Inference Server と Red Hat AI でのサードパーティ検証済みモデルの導入、Llama Stack と Model Context Protocol (MCP) API (開発者プレビュー)、および llm-d コミュニティプロジェクトの設置などが含まれます。このポートフォリオの最新版である Red Hat AI 3 では、エンタープライズ向けに、これらのプロダクション対応の機能の多くを提供します。さらに Red Hat では、チームが効率を高め、より効果的にコラボレーションし、どこにでもデプロイできるようにするためのツールやサービスを拡充しています。Red Hat AI 3 はビジネスにとってどのような意味を持つのかについて、詳しく見ていきましょう。

1.SLA を考慮した推論でさらなる効率性を達成する

Red Hat の戦略は、あらゆるアクセラレーターとあらゆる環境であらゆるモデルを提供できるようにすることです。推論に関連した最新の改善により、生成 AI (gen AI) アプリケーションのサービスレベル契約 (SLA) の要件を満たす機能や、追加のハードウェア・アクセラレーターのサポート、検証済みで最適化されたサードパーティモデルの拡張されたカタログが提供されます。以下のような点をハイライトとして紹介します。

• llm-d の一般提供が Red Hat OpenShift AI 3.0 で開始されました。llm-d は、大規模言語モデル (LLM) をスケーリングし、その予測不可能な性質を管理するために不可欠な、Kubernetes ネイティブの分散推論を提供します。従来の多くのスケールアウト・ワークロードの一貫した動作とは異なり、プロンプトや応答などの LLM 要求は大きく異なる場合があるため、モノリシックなスケーリングが非常に非効率的になることがあります。llm-d は推論プロセスをインテリジェントに分散することで、一貫したリソース割り当てと予測可能な応答時間を可能にします。これは、厳格な SLA を満たし、エンタープライズ向け AI アプリケーションの経済性とパフォーマンスの実現可能性を最適化するために重要です。
• Red Hat AI Inference Server の最新リリースであるバージョン 3.2 は、エンタープライズグレードの vLLM を介して一貫性のある高速でコスト効率の高い推論を提供し、Red Hat AI のモデルの最適化機能にアクセスでき、NVIDIA および AMD GPU のサポートを拡張して IBM Spyre もサポート対象に加えました。この新しいアクセラレーターの統合により、将来の AI 戦略をサポートするために必要な柔軟性、最適化、リスク管理を可能にする機能がお客様に提供されます。
• Red Hat AI 3 は、サードパーティの検証済み、および最適化されたモデルの新たなバッチを備えており、これには Open AI、Google、NVIDIA などのプロバイダーが提供する最先端のオープンソースモデルも対象として含まれています。これは、モデルの選択が単純化され、ハードウェアコストの削減、高スループットの実現、推論時のレイテンシーの短縮に役立ちます。これらのエンタープライズ対応モデルは、Red Hat AI Hugging Face リポジトリと Red Hat OpenShift AI モデルカタログで、スキャン可能で追跡可能なコンテナとして利用できます。新しいモデルには、多言語対応、コーディング、要約、チャットなどが含まれます。
• ユーザー向けモデルのプロバイダーを目指すエンタープライズ IT 組織に対しては、OpenShift AI 3.0 は、開発者プレビューとして Models as a Service (MaaS) 機能へのアクセスを提供します。MaaS を使用すると、パブリッククラウド環境では実行できないユースケースに対応するために、API ベースのモデルとセルフマネージド型のモデルを組み合わせることができます。このリリースには、MaaS コントロールプレーン、統合 API ゲートウェイ、ロールベースのアクセス制御 (RBAC)、コスト追跡メトリクスが含まれています。これらを組み合わせることで、組織はリソースを一元化し、イノベーションを加速し、プライベート AI に関連する運用コストを削減できます。

2.エージェント型 AI のイノベーションを加速する

クラウドネイティブ開発の進化は、過去 10 年間で多くの企業がアプリケーションを構築する方法を変革してきました。同様に、生成 AI は、ソフトウェア開発の標準を変革しました。現在では、AI の第 3 の波が押し寄せてきており、エージェン ト型 AI というさらに大きな変革を遂げようとしています。

OpenShift AI 3.0 の新機能のいくつかは、スケーラブルな AI のエージェント型システムとワークフローの基盤の構築に役立ち、次のようなエージェント型 AI の提供を加速するために必要なフレームワーク、ツール、機能を提供します。

• Llama Stack を使用した適応性の高いモジュール式 AI プラットフォーム： 柔軟性を高め、AI エージェントの運用を単純化するために、Red Hat は OpenShift AI 3.0 のテクニカルプレビューとして Llama Stack API をリリースしました。これによって、検索拡張生成 (RAG)、安全性、評価からテレメトリ、vLLM による推論、MCP によるツール呼び出しまで、さまざまな AI 機能への標準化されたエントリーポイントが提供され、組織は、独自の API や、外部のプロバイダー、および推奨されるエージェント型フレームワークを統合することができます。Red Hat AI は、信頼できる包括的で一貫性のあるプラットフォームを提供するため、セキュリティを重視した方法で、プロダクション環境での AI エージェントの大規模なデプロイ、管理、実行が容易になります。
• MCP のサポート：AI のエージェント型システムのデプロイを迅速化するために、OpenShift AI 3.0 は開発者プレビューとして新たなオープンスタンダードの MCP をサポートします。MCP サーバーは、さまざまな外部ツール、データソースおよびアプリケーションの標準化された「トランスレーター」として機能します。これは、外部アプリケーションやデータソースとの複雑な統合を処理することで、Llama Stack API を補完し、Llama Stack で外部ツールごとにカスタム統合する必要がなくなります。また、厳選された MCP サーバーのコレクションも利用可能になりました。これにより、ISV はツールとサービスを Red Hat AI に直接接続できます。
• 最適化された専用のエクスペリエンス： OpenShift AI 3.0 は、AI hub や gen AI studio など、プラットフォームと AI エンジニアの固有のニーズに対応する専用のエクスペリエンスを提供します。AI hub は、プラットフォームエンジニアが LLM や MCP サーバーなどの基礎的なアセットを活用し、デプロイし、管理できるようにします。これは、AI アセットのライフサイクル管理とガバナンスを管理するための中核的なポイントとして機能します。生成 AI スタジオは、デプロイされた AI アセットを検出し、テストし、管理するための実践的な環境を AI エンジニアに提供します。AI エンジニアは、さまざまなモデルを試したり、ハイパーパラメーターをチューニングしたり、チャットや RAG などの生成 AI アプリケーションのプロトタイピングを行ったりすることができます。

3.モデルをプライベートデータに接続する

Red Hat AI 3 では、各チームは、組織のドメインに合わせて AI をカスタマイズする複数の方法を提供することで、モデルのパフォーマンスと精度を向上させることができます。Red Hat AI 3 のツールは、開発者からデータサイエンティスト、AI エンジニアに至るまで、あらゆるレベルの AI の専門知識を持つコントリビューターが利用できるため、コラボレーションと相互運用性を効率化できます。新たに追加された機能には次のようなものがあります。

• モジュール式で拡張可能なアプローチ：OpenShift AI 3.0 では、モデルをカスタマイズするための新しいモジュール式で拡張可能なツールキットが導入されています。これは、InstructLab が強力なエンドツーエンドの手法からより柔軟なアプローチへシフトしていることを示すものです。このツールキットには、データの取り込み、合成データ生成 (SDG)、モデルのチューニング、評価用に特化した個別の Python ライブラリが含まれているため、チームの制御性が高まり、モデルのカスタマイズに向けたプロセスの効率性が向上します。これにより、データサイエンティスト、AI 調査員、AI エンジニアは、それぞれが必要なコンポーネントのみを選択して、より迅速かつ効率的に作業できるようになります。
• 強化された RAG 機能： 新たに拡張された RAG エクスペリエンスが OpenShift AI で可能になりました。この最適化されたワークフローにより、開発者と AI エンジニアは、docling などのオープンソース・テクノロジーでデータソースに容易にアクセスし、データソースをモデル、アプリケーション、エージェントに接続できるようになります。現在、このプラットフォームは、OpenAI の Embedding API と Completion API を Llama Stack オプションと共にサポートしているため、一貫した機能を維持しながら、さまざまな環境に RAG ソリューションをデプロイできる柔軟性を活用できます。

4.ハイブリッドクラウドで AI を拡張する

AI 戦略を成功させるには、生産性、一貫性、およびユーザーエクスペリエンスの強化が欠かせません。Red Hat の目標は、AI モデルとエージェント・アプリケーションの一貫した構築、調整、デプロイ、管理をハイブリッドクラウド全体で大規模に行い、価値実現までの時間を短縮する統一されたエクスペリエンスを提供する AI プラットフォームを提供することです。OpenShift AI 3.0 は次のものを提供します。 

• モデルレジストリによる一元管理：モデルレジストリにより、AI モデルの管理エクスペリエンスがより最適化され、顧客独自のモデルやアーティファクトから一般向けのコミュニティやサードパーティのオプションに至るまで、チームは各種のアセットをより簡単に発見し、再利用し、管理することができます。これらの機能は、生産性を向上させ、一貫性を促進し、ライフサイクルの一元管理を確保できるように設計されています。
• AI パイプラインの UX の強化：AI パイプラインのユーザーエクスペリエンスが強化されたことにより、データサイエンティストや AI エンジニアがモデルをより迅速にトレーニングしたり、チューニングしたりするために必要なツールが利用可能になりました。また、実行可能なサンプルや再利用可能なコンポーネントを通じてワークフローが最適化され、独自の Argo ワークフローを使用して極めて高い柔軟性を達成できます。
• 可観測性の強化：AI のパフォーマンス、および制御と一貫性の向上について一元化された視点を提供するために、OpenShift AI 3.0 には OpenTelemetry の可観測性標準を備えた基礎的なプラットフォームのメトリクスや、ゼロ構成の GPU モニタリング、最初のトークンまでの時間 (TTFT: Time to First Token)、スループットなどの主要な AI メトリックスの参照ダッシュボード、および API をエクスポートしてエンタープライズ監視プラットフォームとスムーズに統合する機能などが含まれています。
• インテリジェント GPU-as-a-Service： OpenShift AI 3.0 は、高度な機能を使用して GPU の使用率を高め、効率を最大化し、幅広いワークロードをサポートします。すべての NVIDIA MIG 対応デバイスについてのアクセラレーターのスライシングにより、組織は複数のユーザーに対して GPU のパーティション分割し、リソースの無駄のない使用を可能にします。Kueue を活用することで、このプラットフォームはより多様な AI ワークロードをサポートします。これには、Ray トレーニングジョブ、トレーニング・オペレーターベースのジョブ、共有ハードウェア全体での効率的なスケジューリングと管理を行うための推論サービスが含まれます。

エンタープライズ AI への新たなアプローチ

Red Hat AI は、エンタープライズ AI は画一的なソリューションではないという信念に基づいて構築されています。これは、実際のビジネス上の課題の複雑性と多様性を反映した、戦略的で包括的なアプローチです。Red Hat は、組織が現状を打破するための柔軟なプラットフォームを提供し、ハイブリッドクラウドにおけるモデル、ハードウェア、デプロイメント戦略を自由に選択できるようにします。選択肢、制御、および効率性を確保するための Red Hat の取り組みは、Red Hat を他社とは異なるものとしている要素です。Red Hat の AI は、単に AI を提供するだけではなく、組織による AI への投資の最大化を可能にする、信頼性の高い、包括的な基盤を提供します。

Red Hat AI 3 の詳細と、お客様が独自に AI を構築する方法については、What’s new and what's next というライブセッションをご覧ください。また、Red Hat の Web サイト をご活用ください。