Kafka サービスとは

Kafka サービスとは、データストリーミング・プラットフォームの Apache Kafka が提供するクラウドサービスを指します。 

Apache Kafka の大規模なデプロイ、特にハイブリッドクラウド環境へのデプロイは複雑で手間がかかります。そのため、ストリーミングデータを使用する人の多くは、インフラストラクチャおよびシステム管理をサービスプロバイダーに任せられる Kafka サービスを選択します。

Apache Kafka はオープンソースの分散データストリーミング・プラットフォームで、レコードのストリームをリアルタイムで公開、サブスクライブ、保存、処理できます。複数のソースからデータストリームを処理し、複数のコンシューマーに配信することに特化しています。

Apache Kafka は、大量のデータを処理できるように構築されており、エンタープライズ・アプリケーションに適したソリューションです。高速で、水平方向にスケーラブルで、フォールトトレラントであり、ストリーミングデータを管理するように設計されています。

Apache Kafka は ビッグデータの課題に極めて適しています。IoT やソーシャルメディアなど、多数のデータ処理ユースケースにおいて、データは爆発的に増加しており、現在のデータ量を基準に構築しているアプリケーションではまもなく手に負えなくなります。

マイクロサービスを使用する開発者にとって、Apache Kafka は非同期イベント駆動型統合の使用における優れた選択肢です。これにより、同期統合とアプリケーション・プログラミング・インタフェース (API) の使用を強化できます。

ストリーミングデータは、継続的に生成されるリアルタイム情報であり、多くの場合、データセットで発生した変更またはイベントの実行ログに相当します。

データストリーミングのユースケースには、金融取引から IoT (モノのインターネット) データ、入院患者の監視まで、イベントに対するリアルタイムの応答が必要とされるあらゆる状況が含まれる可能性があります。 

ストリーミングデータと相互作用するソフトウェアは、多くの場合、イベント駆動型アーキテクチャモデルを使用して、データが到着した瞬間に処理することを可能にします。

イベント・ストリーミング・モデルにより、イベントコンシューマーはストリームの任意の部分から読み取りを行い、いつでもストリームに接続することができます。基本的なデータストリーミングのイベントには、キー、値、タイムスタンプなどがあります。データストリーミングのプラットフォームは、イベントやプロセスを取り込んだり、イベントストリームを変換したりします。また、イベントストリーミング処理を使用して、データストリーム内のパターンを見つけることができます。

Apache Kafka は、そのメリットは大きいですが、ハイブリッドクラウド環境に大規模にデプロイするのが難しい場合があります。ストリーミングデータ・サービスには、他のデータアプリケーションよりも厳しい要件があります。 

データストリームは、順序設定された情報をリアルタイムで配信する必要があり、一貫性と高可用性を備えていなければなりません。ストリーム内の生データの量は急増する可能性があります。アクティビティが多い時間帯であっても、ストリームは適切なデータシーケンス、データの一貫性、および可用性を優先する必要があります。また、部分的なシステム障害が発生した場合の耐久性も考慮した設計であることが必要です。

分散型のハイブリッドクラウド環境全体で、ストリーミングデータのクラスタには特別な配慮が必要です。Apache Kafka データブローカーはステートフルで、再起動した場合に備えて保持する必要があります。スケーリングでは、メッセージングサービスが期待どおりに動作し、レコードが失われないようにするために、慎重なオーケストレーションが必要です。

このような課題があることから、多くの Apache Kafka ユーザーは、インフラストラクチャおよびシステム管理をサービスプロバイダーに任せられるマネージドクラウドサービスを選択します。

Kafka サービスの使用によって得られるメリットには、次のようなものがあります。

• インフラストラクチャ管理を任せることができるため、チームがアプリケーション開発やその他のコアコンピタンスに集中できる
• チームがすぐに開発を開始し、新しいテクノロジーを迅速に実装できるため、アプリケーションの速度が向上する
• 追加のクラウドサービスの大規模なエコシステムにより、ストリームベースのアプリケーションの提供を単純化できる
• Kafka ブローカーを分散サービスにリンクするコネクターにより、アプリケーションとシステム間でストリーミングデータを簡単に消費および共有できる
• 消費ベースの価格設定なので、顧客はサービスを消費した分だけ料金を支払えばよい

また、マネージド Kubernetes プラットフォームで実行すると、Apache Kafka クラスタはオンサイトおよびパブリック、プライベート、またはハイブリッドクラウドにまたがり、異なるオペレーティングシステムを使用できます。