什么是流数据？

流数据是持续流动的实时信息，也是事件驱动架构软件模型的基础。现代应用可以使用流数据来支持数据处理、存储和分析。 

我们可以将流数据理解为持续记录数据集的变更或事件，这类变更的速度一般非常快。

可作为流数据源的数据集往往都具有变化迅速、体量庞大的特点，其种类也丰富多样，涵盖了从金融交易、物联网（IoT）传感器数据，到物流运营、零售订单或医院患者监控的方方面面。与新一代消息传递类似，数据流也适用于需要实时响应事件的情况。

例如，流数据中的事件数据就是事件驱动架构的基础。事件驱动架构可以集合众多松散耦合的微服务，作为敏捷开发的一部分。

流数据通常和实时应用相关。一些常见用例包括：

• 依赖于即时获取信息的数字体验。
• 支持敏捷软件开发的微服务应用。
• 实现数据库驱动应用现代化的流场景（过去由批处理驱动）。
• 实时分析，尤其是从多个源获取数据的分析。
• 汇集各种不同设备和系统数据的边缘计算。

数据流的热门用例包括围绕消息传递、地理位置、股票交易、欺诈检测、库存管理、营销分析、IT 系统监控和工业物联网数据构建的应用。

Apache Kafka 是开源的分布式消息传递平台，它已经成为处理大量实时流数据的最热门方式之一。

软件开发人员可使用 Kafka 来构建数据管道和流应用。借助 Kafka，应用可以实现以下操作：

• 发布和订阅记录流。
• 存储记录流。
• 即时处理记录。

Kafka 可用于管理流数据，同时具备快速、可横向扩展和容错等特性。Kafka 能够最大程度减少某些应用中对数据共享的点对点集成需求，因而可以将延迟降至毫秒级。因此，用户可以更快地获取数据，为 IT 运维和电子商务等需要实时数据可用性的用例提供优势。

Apache Kafka 每秒可以处理数百万个数据点，是大数据挑战的理想方案。在许多数据处理用例中，如物联网和社交媒体，数据呈指数级增长，或许很快就会让按照当今数据容量构建的应用不堪重负。

按照定义，数据流必须实时传递顺序信息。流数据应用依赖于一致、高度可用的流，即使在活动高发时也是如此。传递和/或使用能够满足这些特性的数据流可能会成为难题。

数据流中的原始数据量可能会迅速增加。例如，股市暴跌期间股票交易产生的新数据突然呈指数级增长，大型体育赛事期间海量的社交媒体发布量，或系统失灵期间大量的日志活动。数据流在设计时必须考虑可扩展性。即使在活动高发期间，数据流仍需优先考虑适当的数据排序、数据一致性和可用性。数据流在设计时，还必须确保能在部分系统出现故障时保持耐久性。

在跨分布式混合云环境中，流数据集群需要注意一些特殊事项。典型的流数据代理是有状态的，必须在重启时保留。扩展时需仔细编排，确保消息传递服务按预期运行，且不会丢失任何记录。

为什么要使用流数据服务？

提供复杂、实时、高可用性的流数据平台的难点在于，可能会消耗大量资源。它需要相应的专业技能和硬件，而这通常超出了企业内部 IT 组织的能力范围。

因此，许多流数据用户通常会选择托管云服务，将基础架构和系统管理工作交给服务提供商负责。这种做法有助于企业专注于打造核心竞争力，而非管理繁杂的流数据解决方案。