機械学習 (ML) とは
機械学習 (ML) は人工知能 (AI) のサブカテゴリであり、アルゴリズムを用いてデータセットの中からパターンを特定し、予測を行う技術です。 このデータは数字やテキスト、さらには写真で構成されます。
理想的な条件下では、機械学習は私たち人間が自分自身の力で解釈するよりも迅速かつ正確にデータを解釈することを可能にします。機械学習は数学的基礎に基づいており、アルゴリズムがデータから学習し、予測を行い、モデルを最適化することができます。
機械学習の仕組み
人工知能は、人間が機械の中に人間のような知性を人工的に作り出すことで開発されます。機械学習の場合は、知覚、学習、問題解決など、人間が生来備えている特定の認知機能を模倣するように機械をプログラミングします。
機械が人間のように考えるようにするには、トレーニングを行って独自の予測モデルを構築させます。この予測モデルは、機械がデータを分析し、最終的に「学習する」機械になるための手段として機能します。このプロセスを開始するには、コンピュータにデータを提供し、学習モデルを選択してデータの処理方法を機械に指示する必要があります。
機械学習モデルは、データを使用して最終的に 3 つの機能を提供できます。
- 何が起こったかを説明する
- 何が起こるかを予測する
- 次に取るべき行動について提案する
機械をトレーニングするために選択される学習モデルは、タスクの複雑さと目的とする結果によって異なります。機械学習は通常、教師あり機械学習、教師なし機械学習、強化機械学習の 3 つの学習方法に分類されます。
教師あり学習アルゴリズムは、ラベル付けされたデータセットを使用してトレーニングされます。このモデルは、画像認識のようなタスクに使用されます。
教師なし学習モデルでは、ラベル付けされていないデータを調べて、共通点、パターン、傾向を見つけます。これは、顧客セグメンテーション、レコメンデーション・システム、一般的なデータ探索のようなタスクに使用されます。
強化学習モデルは、確立された報酬システム内で、試行錯誤のプロセスを使用してトレーニングされます。このスタイルの学習は、アクションが勝敗につながるゲームをコンピュータにプレイさせてトレーニングする場合などに使用されます。
コンピュータがデータの解釈方法に慣れると (学習モデルとトレーニングデータのおかげで)、新しいデータが提示されたときに予測を行い、タスクを実行できるようになります。やがて、コンピュータは継続的なデータストリームから学習して予測の精度を高め、人間よりも短い時間で正確にタスクを実行できるようになります。
Red Hat のリソース
機械学習モデルのトレーニングと評価の仕組み
機械学習のトレーニングフェーズにおいて、モデルは提供された一連のデータから学習します。このフェーズでは、開発者はモデルのパラメーターを調整し、出力のエラーを最小限に抑えることを目指します。
これは、モデルにデータを渡し、その予測を評価し、その予測を使用してモデルを改善するパイプラインを確立することによって行われます。多くの場合、このパイプラインは次のような手順で構成されます。
- データの収集と準備：データを収集してトレーニングデータとテストデータに分離し、不要なものを削除して、ランダム化により均等に分散させてデータの準備を整えます。データセットの重要な情報を保持しながら入力変数 (特徴量) を減らすことは、「次元削減」として知られています。
- モデルの選択：データサイエンティストとエンジニアが作成した、音声認識、画像認識、予測などのさまざまなタスクに対応する多数の機械学習アルゴリズムから選択します。
- トレーニング：準備された入力データをモデルに通して、パターンの検出 (パターン認識) と予測を行います。この手順では、オープンソース・フレームワークの PyTorch がよく使われます。
- 評価：トレーニング後、モデルの出力を、これまでに使用されていないデータのセットと比較して評価します。
チューニング：前の評価ステップで得られた結果に基づいてパラメーターを調整し、モデルをさらに改善します。
トレーニングと評価におけるよくある課題
モデルがトレーニングデータでは良好なパフォーマンスを示しても、テストデータではパフォーマンスが低い場合は、オーバーフィッティングとなっている、つまり、トレーニングデータ内のノイズから学習しすぎている可能性があります。両方のセットでパフォーマンスが低いモデルは、アンダーフィッティングとなっている可能性があります。これは、基礎となるパターンの学習に失敗しているときに発生します。
LoRA と QLoRA は、リソース効率の高いファインチューニング技法であり、オーバーフィッティングを防ぐのに役立ちます。
トレーニングデータのオーバーフィッティングを防ぐために、別の検証データセットを使用することもあります。各イテレーションの後、検証データに対してモデルの出力を評価します。
その後、オーバーフィッティングを防ぐために調整を行います。これが次元削減の適用です。オーバーフィッティングにつながる可能性のある無関係なデータを削除します。この削減は、アンダーフィッティングにならないよう慎重に行う必要があります。
アンダーフィッティングを修正するには、開発者はさらに役立つ機能を追加して、データ内の複雑な関係を捉えるモデルの能力を向上させる必要があります。
テストセットからの情報が誤ってトレーニングセットに漏洩することをデータ漏洩と言います。これが発生すると、優位性が不当にもたらされるため、パフォーマンスが過大評価されてしまいます。
チューニング、新機能、より関連性の高いデータにより、その後のイテレーションでのエラーを最小限に抑えることができます。
機械学習におけるディープラーニングと人工ニューラルネットワークの使用方法
ニューラルネットワークは、機械学習で使用されるアルゴリズムの一種です。これらは、データ内に複雑な非線形関係が伴うタスクに特に適しています。 ディープラーニングは機械学習のサブセットであり、何層もの深さのニューラルネットワークを使用します。これらの深いニューラルネットワークは、データの階層表現を学習できるように適切に構造化されています。これによってディープラーニングは、画像認識、自然言語処理、音声認識などのタスクを強力にサポートします。
混合専門家 (MoE) モデルはディープラーニングとニューラルネットワークを活用して AI 推論を高速化します。その仕組みをご覧ください。
機械学習の適用方法
機械学習と人工知能を使用すると、ユーザーエクスペリエンスを向上させる、顧客の行動を予測する、システムを監視して不正行為を検出するといったことが可能になり、さらには医療従事者が生命を脅かす症状を検出するために役立てることもできます。私たちの多くは、日常的に機械学習の恩恵を受け、機械学習とやり取りしています。機械学習の一般的な用途には次のようなものがあります。
- お気に入りのストリーミングサービスの推奨アルゴリズム
- 自動ヘルプラインとチャットボット
- ターゲット広告
- 金融機関からの自動見積もり
生成 AI は今や多数の AI ツールの原動力となっていますが、それを可能にしているのがディープラーニングです。ディープラーニングは、大量のデータを分析および解釈するための機械学習の手法です。生成 AI のサブセットである大規模言語モデル (LLM) は、かつてない規模で人間の言語を理解し生成する能力を実証しており、機械学習の重要な適用例になっています。
機械学習は多くの企業による利用が期待される機能になりつつあり、医療、金融サービス、通信、政府機関などの業界で、革新的な AI/ML のユースケースが生じています。
機械学習モデルの課題と考慮事項
ML モデルにはバイアスが含まれている可能性がある：機械学習モデルは過去のデータのパターンから学習します。そのため、バイアスや差別を学習してしまう可能性があります。たとえば、社会に存在する人種、性別、社会経済的なバイアスがデータに反映されている可能性があります。トレーニングデータのバイアスが取り除かれていない場合、モデルはそれらのバイアスを永続させ、増幅する可能性があります。
同様に、機械学習モデルによって融資の承認、雇用、刑罰に関する判決などの決定が行われた場合、社会の主流とはされていないグループに不当な影響を与える可能性があります。さまざまなグループ全体に公平な結果を確保するために、公平性のフレームワークが存在しています。
モデルによっては、回答に至る処理の流れが一切わからない：一部の機械学習モデルは「ブラックボックス」となっており、そのようなモデルの内部でどのような処理が行われているかを知る方法はありません。このように透明性が欠如しているモデルでは、モデルがどのような経緯で最終的な決定に至ったのかを人間が理解できないため、モデルの信頼性が損なわれる可能性があります。
これを解決する方法は、説明可能な AI (XAI) の手法を適用して AI の出力を人間にとってより理解しやいものにすることです。XAI を実装するには、初期設計から監視まで、機械学習のライフサイクル全体の透明性を高める必要があります。
Red Hat のサポート内容
Red Hat® AI は、vLLM 搭載のサーバーを通じて、高速で柔軟かつ効率的な推論を行うように構築されています。モデルをデータと確実に接続し、専用エージェントのカスタマイズと開発を単一のプラットフォームで行うことができます。オープンソースを基盤として構築された当社の製品により、あらゆる規模で AI ワークフローをエンドツーエンドで完全に制御することができます。
また、Red Hat AI ポートフォリオに Red Hat AI Enterprise が追加されました。これは、AI 推論、エージェント型 AI ワークフロー、AI 対応アプリケーションをあらゆるインフラストラクチャ上でデプロイ、管理、スケーリングするための統合 AI プラットフォームです。
生成 AI の基盤を構築する際の主な検討事項
この e ブックでは、生成 AI プロジェクトを加速させる信頼できるインフラストラクチャ基盤を確立するための主な検討事項について説明します。
