生成 AI の未来に向けた運用基盤の構築

生成人工知能 (GenAI) が世間の注目を集め続けている中で、これまで以上に明白なことが 1 つあります。それは、イノベーションのペースが速まっていることです。イノベーションは、GenAI モデル自体に対して行われている革新的な改良だけでなく、それらをエンタープライズに関連したものにするためのサポート・テクノロジーにも見られます。大規模言語モデル (LLM) に組織のデータを注入するために優先されるアプローチとして、検索拡張生成 (RAG) がファインチューニングに取って代わりました。

GenAI は急速に変化しているので、多くの組織はハイパースケーラーのような AI プラットフォームベンダーに思い切って一任して、不案内な GenAI の取り扱いを AI プラットフォーム用の単一の主要クラウドに任せる必要があると感じています。それらの企業の多くは、モデルの構築と拡張のコア機能を提供し、AI 対応アプリケーションで提供してモデルの管理とモニタリングを実施するための、GenAI と予測 AI の両方に対応する一貫性のある柔軟な基礎となる AI 基盤を求めています。このアプローチにより、オンプレミス、異なるクラウド・プラットフォーム、または エッジで実行できる柔軟性を備えた AI プラットフォームを導入することで、ベンダーロックインのリスクを減らすことができます。これにより、組織は GenAI の進化に合わせて方向転換し、適応することができます。 

 Red Hat OpenShift AI をフルマネージドのクラウドサービスとしてリリースする前から、ベータリリース版をご利用のお客様から、このサービスのオンプレミス版に強い関心が寄せられていました。現在、Red Hat OpenShift AI のお客様の 80% 以上が、オンプレミスでの使用にセルフマネージド・バージョンを導入しています。 Red Hat OpenShift のアドオンである Red Hat OpenShift AI は、オンプレミスと、エッジを含むすべての主要なパブリッククラウドで実行される主要なアプリケーション・プラットフォームである Red Hat OpenShift の基盤となる機能の多くが含まれています。AI をアプリケーション環境の延長として扱うことで、開発者とデータサイエンティストの両方の効率を向上させることができます。 

Red Hat OpenShift AI の機能概要

GenAI と予測 AI の両方に対応する単一のプラットフォームとしての Red Hat OpenShift AI の機能の一部をまとめてみましょう。

モデルのトレーニング - プロジェクト

Red Hat OpenShift AI は複数のワークベンチイメージを提供し、管理ユーザー・インタフェースを介してカスタムイメージを追加する機能を備えています。プロジェクトのユーザー・インタフェース (UI) を使用すると、ユーザーは特定のプロジェクトに必要なモデル開発ファイル、データ接続、その他のアーティファクトを整理できます。モデル開発ファイルは、標準ワークベンチイメージから作成することも、Jupyter Notebook、PyTorch、RStudio など、一般的なライブラリ、パッケージ、ツールへのアクセスを提供するカスタム・ワークベンチ・イメージから作成したりすることもできます。プロジェクトを特定のパーミッションで共有し、同僚とコラボレーションできます。プロジェクトにより、ユーザーはプロジェクトデータを保存するためにクラスタストレージを設定し、データサイエンティスト、開発者、および AI ライフサイクルに貢献するその他のユーザー向けのパイプライン、モデル提供、監視を含む各種機能へのアクセスを提供できます。

モデルのトレーニング - 分散ワークロード

分散モデルトレーニングは、複数のクラスタノードを同時に活用して、より高速で効率的なモデルトレーニングを行う方法です。このアプローチは、予測 AI トレーニングと GenAI トレーニングの両方とユースケースのチューニングに使用でき、これ以外の方法では計算が実行不可能なタスクを可能にします。

Red Hat OpenShift AI に組み込まれている分散ワークロードスタックには、トレーニングと検証のテクノロジー、チューニング、および推論テクノロジーが含まれています。CodeFlare は、ジョブのオーケストレーションと監視を単純化するトレーニングスタック用の使いやすいフレームワークを提供します。分散ワークロード向けの Ray、ジョブのスケジューリングおよびキューイング向けの Kueue などのテクノロジーと統合されています。

分散ワークロード機能は、高度なアクセラレーター・サポートによってノードの利用率を最適化するシームレスな統合を提供します。インタラクティブな方法とバッチの両方で、ジョブの優先順位付けと分散が可能です。データサイエンス・パイプライン内から分散ワークロードを使用して、増強されたコンピューティング機能を活用することもできます。

GPU とアクセラレーター

Red Hat OpenShift AI の最も有益な機能の 1 つは、GPU アクセスをセルフサービスで利用できることです。ITOps の担当者は、オンプレミスとクラウドの両方で GPU リソース環境を簡単に事前定義できるため、データサイエンティストとアプリケーション開発者はプロジェクトタスクの構成を簡単に選択できます。この製品は、NVIDIA GPU、Intel Habana Gaudi デバイス、AMD GPU などのさまざまなアクセラレーターをサポートします。アクセラレーター・プロファイル機能を使用すると、管理者はワークロードに最も適した各種アクセラレーターを設定できます。ユーザーは Red Hat OpenShift AI のアクセラレーターを、モデル開発とサービス提供ユーザー・インタフェースの両方から選択できます。

データサイエンス・パイプライン

機械学習トレーニング用にカスタマイズされ、KubeFlow パイプラインをベースとするパイプラインツールであるデータサイエンス・パイプライン・コンポーネントにより、データサイエンティストは開発とプロダクションにおいてモデルを提供してテストするための手順を自動化できます。サンプルパイプラインを使用して、データの収集、処理、モデルのトレーニング、既存のモデルのダウンロードを行い、新しいモデルと比較し、パフォーマンスが優れている場合は新しいモデルを DevTest にプッシュできます。パイプラインは、他の AI プロジェクトのアーティファクトと同様にバージョン管理、追跡、および管理できます。さらに、ドラッグアンドドロップ・インタフェースを使用してこれらのパイプラインを作成および自動化するためのビジュアルエディターも用意されています。データサイエンスパイプラインは、分散ワークロードも実行できます。

モデルの提供

モデル提供 UI は Red Hat OpenShift AI ダッシュボードとプロジェクト UI に直接統合されており、Hugging Face、ONNX、PyTorch、TensorFlow などのプロバイダーやフレームワークからモデルを提供します。ユーザーは、KServe または ModelMesh をベースとするモデル提供プラットフォームを選択でき、Red Hat OpenShift AI が提供するさまざまなモデルサーバーやランタイムから選択するか、カスタム推論エンジンまたは NVIDIA Triton などのランタイムを統合することができます。CPU や GPU などのクラスタリソースは、ワークロードのニーズに応じてスケーリングできます。強化されたモデル提供スタックは、KServe、Caikit、vLLM、TGIS などのオープンソース・テクノロジーを活用して、モデルの提供を支援します。

モデル監視

モデル監視 UI ダッシュボードは、運用指向のユーザーがモデルサーバーとデプロイされたモデルの運用とパフォーマンスのメトリクスを監視するのに役立ちます。モデル監視の可視化には、推論リクエストの成功数と失敗数、推論平均応答時間、特定のコンピューティング使用状況などのメトリクスが含まれています。このデータは、リクエスト数や平均応答時間が時間の経過とともに増加している場合、コンピュートリソースを追加するなど、ユーザーが適切なアクションを実行するよう導くのに役立ちます。

テクノロジーパートナーの統合

Starburst、Anaconda、Pachyderm、NVIDIA、Intel などのベンダーの Red Hat OpenShift AI 製品での直接統合に加えて、Red Hat は AMD、Elastic、Run:ai、Stability AI など他社とのコラボレーションにより、さまざまな GenAI ユースケースに対応する拡張された統合を提供しています。

ハードウェア・プラットフォームに関しては、Red Hat は Red Hat OpenShift AI 上の Intel® Enterprise AI および NVIDIA NIM マイクロサービスとの最適化されたサポートと統合を発表しました。Dell は、Red Hat OpenShift AI で AI ユースケースに対応できるよう、Dell APEX Cloud Platform for Red Hat OpenShift の機能を強化しました。また、シスコは Red Hat OpenShift AI で MLOps のための Cisco Validated Design を作成しました。

Red Hat OpenShift AI は IBM watsonx.ai の基盤となるコンポーネントであり、GenAI ワークロードのための基本的な AI ツールとサービスを提供します。watsonx.ai は、AI ビルダーがローコードまたはノーコードで GenAI アプリケーションを提供するためのエンタープライズスタジオを提供しています。また、モデル開発のための使いやすいワークフロー、IBM 基盤モデルおよび厳選されたオープンソースモデルのライブラリへのアクセスを提供します。Red Hat OpenShift と Red Hat OpenShift AI は、watsonx.ai ソフトウェアにおける組み込みの技術的前提条件です。

切断された環境

セキュリティと法令順守を考慮して、多くの Red Hat OpenShift AI のお客様は分離されたデプロイメントを必要とします。政府機関から金融サービス、医療、製造に至るまで、さまざまな組織がエアギャップインストールへのサポートを必要としています。切断されたクラスタは通常、制限されたネットワーク上にあり、多くの場合はファイアウォールの内側にあります。そのため、デプロイメントがはるかに困難になり、プライベートレジストリでイメージをミラーリングする機能が必要になります。

エッジ

AI プラットフォームの最大のテストの 1 つは、エッジ環境をサポートする能力です。Red Hat OpenShift AI モデルをエッジで提供することにより、AI モデルのデプロイをリモートロケーションに安全かつ一貫して大規模に拡張できます。エッジでモデルを提供することで、モデルをエッジにデプロイするプロセスを単純化し、環境全体での一貫性を高め、エッジでの推論プロセスを保護します。この機能は、シングルノードの Red Hat OpenShift でのみ使用できます。

Red Hat OpenShift AI をお客様のクラスタで試すにはこちらを、GenAI および予測 AI のパターン、デモ、方法の詳細を確認するにはこちらを、GenAI の運用基盤の構築についての詳細を確認するにはこちらをご覧ください。