流式处理

流数据是随着时间的推移而产生的数据元素序列。流处理是对流数据的处理。与批处理不同，流数据会在产生后立即被逐一处理。

流处理的特点

流处理具有以下特点。

  • 无界数据：流数据是一种不断增长的、无限的数据集，不能作为一个整体来操作。
  • 无界的数据处理：由于适用于无界数据，流处理本身也是无界的。与批处理相比，工作负载可以均匀地分布在不同的时间。
  • 低延迟、近实时：流处理可以在数据产生后就进行处理，以极低的延迟获得结果。

流处理将应用和分析统一起来。这简化了整个基础设施，因为许多系统可以建立在一个共同的架构上，也允许开发人员建立应用程序，使用分析结果来响应数据中的洞察力，以采取行动。

边缘流处理

在边缘侧，大部分数据都是以连续流的形式诞生，如传感器事件等。随着物联网的广泛应用，越来越多的边缘计算节点需要访问云网络并产生大量的数据。为了降低通信成本，减少云端的数据量，同时提高数据处理的实时性，达到本地及时响应的目的，同时在网络断开的情况下进行本地及时数据处理，有必要在边缘引入实时流处理。

有状态的流处理

有状态的流处理是流处理的一个子集，其中的计算保持着上下文状态。有状态流处理的例子包括：

  • 聚合事件以计算总和、计数或平均值时。
  • 检测事件的变化。
  • 在一系列事件中搜索一个模式。

状态信息可以通过以下方式找到或管理。