-
製品とドキュメント Red Hat AI
ハイブリッドクラウドでの AI の開発とデプロイのための製品およびサービスのプラットフォーム。
Red Hat AI Enterprise
AI を活用したアプリケーションをハイブリッドクラウドのどこででも構築、開発、デプロイします。
-
学ぶ 基本
-
AI パートナー
Red Hat AI による検証済みモデル
Red Hat® AI による検証済みモデルは、Red Hat AI プラットフォームにサードパーティの生成 AI モデルをデプロイする際の信頼性、予測可能性、柔軟性を提供します。
検証済みモデルが特別な理由
大規模言語モデル (LLM)、推論サーバーの設定、ハードウェア・アクセラレーターの選択肢は数多く存在します。そのため、想定するユースケースに適したパフォーマンス、精度、コストの組み合わせを見つけるのは困難です。
Red Hat AI 3.3 の最新アップデートでは、検証済みモデルのコレクションが提供されており、それらの選択が容易になります。当社のリポジトリに登録されているサードパーティモデルは、Red Hat AI プラットフォーム全体で効率的に実行できることが検証されています。また、一連の高性能モデルも新しく追加されました。
IBM Granite 4 や Apertus 8B などの新しいモデルでは、透明性と監査可能性が重視されています。Mistral Large 3 は、欧州でデータ主権を必要とする組織を支援します。また、NVIDIA 独自の Nemotron モデルファミリーは、NVIDIA インフラストラクチャをお使いのお客様に最高のパフォーマンスを提供します。
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
特長とメリット
柔軟性の向上
すぐに推論に使用できる検証済みモデルと最適化済みモデル (Hugging Face でホストされている) が集められており、価値実現までの時間の短縮、一貫性の促進、AI アプリの信頼性向上を実現できます。
最適化された推論
適切なモデル、デプロイメント設定、ハードウェア・アクセラレーターを選択して AI インフラストラクチャを最適化し、ユースケースに合わせたコスト効率の高い、効率的なデプロイメントを実現します。
信頼性の向上
さまざまなデプロイシナリオにおいてサードパーティモデルを評価、圧縮、検証するための業界ベンチマーク、精度評価、モデル最適化ツールにアクセスできます。
モデルを最大限に活用する
Red Hat AI のモデル検証は、お客様側での再現性が得られるよう、GuideLLM、Language Model Evaluation Harness、vLLM などのオープンソースツールを使用して行われます。
検証済みモデル
これらは単なる LLM ではありません。Red Hat は実環境におけるパフォーマンスを正確に把握できるよう、サードパーティモデルを現実的なシナリオでテストしています。また、専用のツールを使用して、さまざまなハードウェアにおける LLM のパフォーマンスを評価しています。
- GuideLLM は、ハードウェアのセットアップ全体のパフォーマンスとコストを評価します。
- LM Evaluation Harness は、タスク全体でのモデルの一般化をテストします。
最適化済みモデル
スピードと効率性を高めるために圧縮されています。これらの LLM は、vLLM にデプロイする際に精度を損なうことなく、より迅速に、より少ないリソースで動作するように設計されています。
- LLM Compressor は、モデル圧縮に関する最新の研究を単一のツールに組み込んだオープンソース・ライブラリであり、最小限の労力で簡単に圧縮モデルを生成できます。
- vLLM は優れたスループットとメモリー効率を実現する、最適化された LLM 向けの最先端のオープンソース推論およびサービスエンジンです。
Red Hat AI で必要なソリューションを構築する
Red Hat AI は、人の働き方に沿って機能するオープンソース AI プラットフォームです。効率的なモデルでコストを削減し、自社データと専門知識でカスタマイズし、あらゆるインフラストラクチャでワークロードを一貫してデプロイおよび管理できます。チームを連携させて拡張するためのツールもすべて揃っています。
よくある質問 (FAQ)
検証済みモデルはどこにありますか。
検証済みモデルは、Red Hat AI Ecosystem Catalog および Hugging Face の Red Hat AI リポジトリで入手できます。Hugging Face の Red Hat AI リポジトリには、モデルの詳細、SafeTensor による重み付けのほか、Red Hat AI Inference Server、RHEL AI、Red Hat OpenShift AI に迅速にデプロイするためのコマンドが含まれています。
新しい検証済みモデルはどのくらいの頻度で追加されるのですか。
Red Hat では、アップストリームの vLLM のリリースサイクルに合わせて、新規の検証済みモデルを毎月リリースすることを目指しています。Red Hat は、理由を問わずモデルの検証を停止する権利を留保します。
検証済みモデルのライフサイクルはどのようになっていますか。
選定されたモデルは、少なくとも n+2 バージョン先の vLLM マイナーバージョンまで誠意を持って検証されます。vLLM バージョンで検証する各モデルについては、少なくとも次の 2 つのバージョンの vLLM に対してそのモデルの前方互換性を提供するよう努めます。
これらの検証済みモデルと最適化済みモデルは、Red Hat サポートチームが完全にサポートしていますか。
いいえ、Red Hat はサードパーティモデルのサポート、補償、認定、保証を提供しません。また、容量に関するガイダンスはあくまでガイダンスであり、パフォーマンスや精度を保証するものではありません。各モデルのライセンスの詳細については、モデルプロバイダーにお問い合わせください。
自社のユースケースに合わせてカスタマイズされた LLM のデプロイメント、構成、およびハードウェア・アクセラレーターのガイダンスを得るにはどうすればよいですか。
詳細は validated-models@redhat.com までお問い合わせください。
