スケーラブルでコスト効率の高い LLM のファインチューニング

汎用 AI のユースケースでは、大規模言語モデル (LLM) による幅広いデータのパターンや関係性をつかむ能力があれば十分であることが少なくありません。しかし企業が競争上の優位性を獲得するためには、自社固有の特定分野の専門知識、つまり秘伝のソースを活用しなければなりません。ビジネスは本質的に分野が限定されるため、分類、知識、知識をフル活用できるカスタム LLM が必要になります。

そこで持ち上がるのが、次のような問題です。「競争上の優位性を得るためには、汎用 LLM をどのように特定のユースケース、知識、ドメイン、専門用語、顧客による入力などに適応させればよいのか、そして、どうすればそれをコスト効率よく実現できるのか？」理想的には、小さな取り組みから始めてすばやく拡大し、継続的にビジネスに価値を提供し続けることです。

これを実現していくための方法はプロンプトチューニングや検索拡張生成 (RAG) をはじめいくつもありますが、これらの手法の制限を乗り越えるためには、ファインチューニングも検討する必要があります。これは、事前トレーニングされたモデルを特定のデータセットやタスクに対して調整し、特定の用途で高いパフォーマンスを発揮できるようにするプロセスです。

ただし、ファインチューニングや LLM の改良には次のような課題があります。

• 特定の分野の知識を理解するよう LLM をファインチューニングするには、通常、リソースを大量に消費する高価なトレーニングを実施する必要がある
• LLM の改良には通常、人間が作成し、注意深く選別された大量のデータが必要になるが、それには時間とコストがかかる。また、こうしたデータにはセキュリティおよびプライバシーにかかわる懸念が伴うこともある
• ファインチューニングを行うにはデータサイエンティストが必要だが、報酬が高騰してきており、見つけるのも難しい

Red Hat AI が提供できる支援

Red Hat AIは、小規模な専用の AI モデル、効率的なカスタマイズ技術、どこでも開発およびデプロイできる柔軟性により、企業の AI 導入を促進します。Red Hat AI のポートフォリオは Red Hat Enterprise Linux AI (RHEL AI)、Red Hat OpenShift AI、アクセラレーター、サービスで構成されており、お客様に包括的な機能セットを提供します。

RHEL AI は生成 AI 基盤モデルを開発、テスト、実行するように構築されており、開発者が IBM の Granite LLM を簡単に使って実験できるようにするコミュニティ駆動のプロジェクトである InstructLab も含まれています。

InstructLab とは

InstructLab (LAB)は、IBM Research の Large-scale Alignment for chatBots の研究に基づいています。LAB メソッドには 3 つの段階があります。

• データのキュレーション：データサイエンスのトレーニングを受けていないか経験がない特定分野のエキスパートを対象としたコラボレーティブなアプローチです。LAB メソッドではそのようなデータサイエンティスト以外の人たちが、ドメイン固有の知識やスキルの分類をキュレーションして貢献します。
• 大規模な合成データの生成：モデルを使用して、キュレーションされたデータに基づき、さらに例を生成します。このような合成データの使用は、モデルに影響を与え、モデルが使用できるドメイン知識を拡大するための重要な取り組みです。このデータもそれ自身が貴重な資産であり、自動生成されているので低コストで、セキュリティが高く、個人識別情報 (PII) は一切含まれません。
• 反復的で大規模なチューニング：最後に、生成された合成データに基づいて、モデルを再トレーニングします。LAB メソッドには 2 つのチューニングのサブフェーズがあります。知識のチューニングと、それに続くスキルのチューニングです。

LAB メソッドを使用すると、モデルは元の LLM トレーニングによる生成能力と正確性を維持しつつ新しいスキルを獲得できます。

小さく始めて徐々に拡大する

Red Hat OpenShift AI はエンタープライズ環境で LAB メソッドを実行するためのプラットフォームを提供します。OpenShift AI はオープンソースの AI プラットフォームで、AI モデルや AI 対応アプリケーションのライフサイクルの管理を支援します。モデル開発のためのサービスを提供し、特徴量パイプライン、モデルトレーニング、チューニングなどの AI プロセスを自動化します。また、実験の追跡、モデルのバージョン管理、全体的なモニタリングのためのすぐに使えるサービスも提供します。OpenShift AI は人気のある多数のオープンソースを活用し、サポートしています。LAB メソッドでは以下を使用しています。 

• データサイエンスパイプライン (DSP)：Kubeflow Pipelines に基づく、可搬性がありスケーラブルな AI ワークフローの構築とデプロイのためのサービス
• Kubeflow Training Operator (KFTO)：ファインチューニングとスケーラブルな分散モデルトレーニングのための Operator

Red Hat は DSP と KFTO を使用して LAB メソッドを自動化し、プロセス全体のスケーラビリティ、効率性、監査可能性を向上させました。 

DSP では有向非巡回グラフ (DAG) を使用して LAB のファインチューニング・プロセスを構成し、プロセスを視覚情報として確認できるようにします。それぞれの段階や実行ステータスは人間にわかりやすい形で表示されるので、すべての関係者が理解できます。AI エンジニアは OpenShift AI のダッシュボードから LAB メソッドのプロセスの進行状況をモニタリングし、メトリクスやチューニングされたモデルそのものなど、さまざまな出力を表示できます。これらは自動的にバージョン管理およびトラッキングされるので、AI エンジニアとデータサイエンティストは反復的にモデルのパラメーターやリソースを変更しながらモデルのパフォーマンスの変化を比較できます。 

KFTO と DSP の統合により、データサイエンティストと機械学習運用 (MLOps) チームは既存の OpenShift クラスタの能力をコスト効率が高くスケーラブルな方法で活用することができます。組織は目的の投資に応じて、トレーニング段階を実行する際に使用するリソースの割り当てと GPU 対応 OpenShift ワーカーノードの数を設定できます。KFTO はユーザーに代わってこれらのリソースのスケーラビリティと効率的な使用を管理します。OpenShift AI は特定分野のエキスパート、データサイエンティスト、AI エンジニアという異なるユーザーに合わせて適応された UI を提供し、これらのユーザーがコラボレーティブに作業できるよう支援します。

DSP (OpenShift 上のデータサイエンス・パイプライン) の詳細をご覧ください。また、Red Hat Developer ブログで「Kubeflow Training Operator を使用して LLM をファインチューニングする方法」の記事をご覧になり、スケーラブルなファインチューニングを実現するための取り組みを開始するのにお役立てください。