AI システムのセキュリティと安全性

最新のコンピュータシステムの中で、人工知能 (AI) の力を借りて改良されていないものがあると想像することは困難です。たとえば、スマートフォンのカメラで写真を撮影すると、物体検出から深度認識まで、平均して 20 以上のディープラーニング (DL) モデルが稼働し、すべてが連携して完璧な写真を撮影できるようにします。

ビジネスプロセス、生産性アプリケーション、ユーザーエクスペリエンスのすべてを、何らかの AI を使用して強化することができます。これのどの規模と速度、および範囲で成長したテクノロジーは他にほとんどありません。しかし、他のテクノロジーと同様に、AI にもリスクが伴います。このリスクには、セキュリティや安全性のリスク、さらには法的責任に関するリスクも含まれます。この記事では、このような安全性とセキュリティの懸念事項、とくに生成 AI (Gen AI) に関連する懸念事項と、より安全で信頼できる AI システムを開発する方法について簡単に説明します。

セキュリティと安全性の区別

あらゆるコンピュータシステム (ハードウェアまたはソフトウェア) と同様に、AI システムも脱獄 (Jailbreak)、プロンプトインジェクション、敵対的学習などで、悪用される可能性があります。しかし、AI システムは業界に新たなパラダイムをもたらします。それは、出力データの安全性という概念です。これは主に以下の点を背景としています。

• AI の出力は多くの場合、モデルの以前のトレーニングに基づいて生成され、出力の品質はトレーニングに使用されたデータの品質によって異なります。よく知られたモデルは、利用できる限り多くのデータを使用します。このデータは、多くの場合、モデルのトレーニングに使用されるトークンの数で測定されます。理論的に言うと、使用されるトークンが多いほど、モデルのトレーニングの効果が高くなります。
• モデルの出力は、ビジネス、ユーザー、および技術に関する意思決定に役立ちます。しかし、これにより、金銭的な損失のリスクが生じるだけでなく、安全上や法的影響につながる可能性もあります。たとえば、インターネット上には安全でないコードが常に存在するため、それらを使用してトレーニングされたモデルには、結果として安全でないコードが生成するリスクがあります。この生成コードがソフトウェア・プロジェクトで直接使用されると、完全に新規のサプライチェーン攻撃のリスクを生じさせる可能性があります。

AI のセキュリティと安全性の一部の側面は密接に関連していますが、安全性に関するフレームワークの大半では、これらは別々に扱われています。コンピュータの安全性の基準は、ほとんどの企業にとって比較的新しいパラダイムであり、我たちの多くは詳細を理解するに至っていません。

AI モデルを使用する際の安全性に関する考慮事項

簡単に言うと、生成 AI モデルは文中の次の単語を予測することで機能します。これらのモデルははるかに高度なものに進化していますが、基本的には、依然としてこの原則で動作しています。つまり、AI の安全性について言及する際には、いくつかの興味深い点を考慮する必要があります。

Garbage In, Garbage Out (ゴミを入れたら、ゴミが出てくる)

「Garbage In, Garbage Out (ゴミを入れたら、ゴミが出てくる)」は、コンピューティングにおける非常に基本的な原則であり、AI モデルにも適用されますが、適用方法は少し異なります。生成 AI モデルは、トレーニング・フェーズで特定のデータセットから「学習」します。通常、このトレーニング・フェーズは 2 つの部分に分かれます。最初は、事前トレーニングのフェーズです。大量のデータのコーパスが使用され、多くの場合、これらはインターネットから取得されます。2 つ目は、ファインチューニングのフェーズです。ここでは、モデルの目的に固有のデータが使用され、より焦点を絞ったタスクまたは一連のタスクにおいてモデルをより効果的に機能させます。モデルの中には、モデルのアーキテクチャと目的に応じて、3 つ以上のフェーズが設定されているものがあります。

ご想像のとおり、機密性の高い、安全でないコンテンツや攻撃的なコンテンツをフィルタリングせずに、インターネットから大量に取得したデータでモデルをトレーニングすると、予期せぬ有害な結果が生じる可能性があります。

モデルによるハルシネーション

私は、AI モデルを小さな子供に例えることがよくあります。質問に対する答えを知らない子供たちは、完全な作り話しであるものの、説得力のある話しをすることがあります。モデルもこれと多くの点で似ていますが、とくにモデルが財政や社会、またはセキュリティに関連する影響を与える可能性のある回答を生成する場合は、危険で有害な結果を引き起こす可能性があります。

安全性テストとベンチマーク

AI 業界はまだ発展途上段階にありますが、ベンチマークの基準に関する提案がいくつかあり、興味深く注目に値すると考えられます。

• MLCommons AI Safety ワーキンググループ は、MLCommons の AI safety v0.5 ベンチマーク概念実証 (POC) をリリースしています。PoC は、複数の危険なカテゴリーでのプロンプトに対するモデルの応答を評価することにより、大規模言語モデル (LLM) の安全性を測定することに焦点を当てています。
• アメリカ合衆国商務省の米国国立標準技術研究所 (NIST) は、人工知能リスク管理フレームワーク (AI RMF 1.0) を公開しました。AI RMF は、リスクの定量化と検出、およびその出現や影響および管理について把握する方法について論じています。
• Trusty AI は、Red Hat が開始したオープンソース・プロジェクトであり、AI のバイアスに関連する問題を軽減するためのプロジェクトです。

ガードレールの設置

ガードレールのアプリケーションとモデルは、さまざまな方法を使用して、モデルの出力が設定された安全性とセキュリティーの要件に準拠するようにします。現在、これらのガードレールの設定を支援する、さまざまなオープンソースツールとプロジェクトが存在します。しかし、ガードレールはソフトウェアの一部に過ぎず、それ自体にリスクや制限があります。モデルを実稼働環境に導入する前に、その有害性を測定し、評価するメカニズムを確立するのは、モデル作成者の責任です。

オープンソースが違いを生み出す理由

業界では、AI のオープンソースモデルを構成する要素についての議論 AIや、どのモデルが有効かについての議論が続いていますが、IBM と Red Hat は、我々が提供する AI モデルについてオープンスタンダードとオープンデータを実装して、道のりを切り開いています。具体的には、以下が含まれます。

• IBM の Granite 基盤モデルは、Red Hat Enterprise Linux (RHEL) AI に付属して提供され、オープンデータで事前にトレーニングされています。これは、すべてのデータソースは公開され、閲覧可能であることを意味します。また、複数のデータスクラビング技術が事前トレーニングデータに使用され、潜在的に機密性の高い、安全ではない、または攻撃的なコンテンツがモデルに供給される前に除外されるようになっています。
• Red Hat の InstructLab プロジェクトは、モデルトレーニングのファインチューニングのフェーズを単純化するのに役立ちます。これは、とくにモデルの出力に関するセキュリティーや倫理上の問題を減らすのに役立ちます。この説を裏付ける最近の研究はかなり多くあります。詳細については、Google ブログのこちらの記事をご覧ください。Protecting users with differentially private synthetic training data (異なるプライベートな合成トレーニングデータによるユーザーを保護する)

Red Hat は AI Alliance の創立メンバーでもあります。このネットワークは、AI テクノロジー、アプリケーション、ガバナンスの最前線にある企業、新興企業、大学、研究機関、政府機関、非営利団体の協調的なネットワークです。この提携の一環として、Red Hat は、お客様だけでなく、オープンソース・コミュニティ全体にとっても、本当の意味でオープンで、より安全かつセキュアな AI 環境の構築を促進するよう取り組んでいます。

まとめ

人工知能 (AI) は開発の初期段階にあり、後回しせずに、今そのセキュリティと安全性について考えることは非常に重要です。Red Hat は、これが AI 開発の分野であり、オープンソースとオープンなシステムが非常に重要な違いを生み出す分野の 1 つであると考えています。

RHEL AI の詳細