IO InputStream / OutputStream Reader / Writer 同步和异步 小结 读后有收获可以支付宝请作者喝咖啡，读后有疑问请加微信群讨论 IO IO是指Input/Output，即输入和输出。以内存为中心： Input指从外部读入数据到内存，例如，把文件从磁盘读取到内存，从网络读取数据到内存等等。 O...

数据迁移 原理说明 执行阶段说明 准备阶段 存量数据迁移阶段 增量数据同步阶段 流量切换阶段 相关参考 数据迁移 原理说明 目前的数据迁移解决方案为：使用一个全新的数据库集群作为迁移目标库。 这种实现方式有以下优点： 迁移过程中，原始数据没有任何影响； 迁移失败无风险； 不受分片策略限制。 同时也存在一定的缺点： 在一定时间...

20 格式选项 格式流指定（说明） stream_id 20 格式选项 libavformat 库提供一些常规的全局选项，它们都可被混合器/分离器设置。一些混合器/分离器还支持附加的私有选项，这些都在其组件处介绍。 ffmpeg工具中选项通过特定的-option value 进行设置，或者通过AVFormatContext 选项设置，或者通过l...

总览 Fluent Bit Data Pipeline Stream Processor 总览 流处理是在连续数据流仍在流动时对其进行查询的功能。Fluent Bit 实现了可用于此过程的Streaming SQL Engine(流式结构查询语言引擎)。 为了理解流处理在 Fluent Bit 中的工作方式，我们将快速浏览 Fluent Bit...

基础概念 拓扑（Topologies） 数据流（Streams） 数据源（Spouts） 数据流处理组件（Bolts） 数据流分组（Stream groupings） 可靠性（Reliability） 任务（Tasks） 工作进程（Workers） 基础概念 Storm 系统中包含以下几个基本概念： 拓扑（Topologies） ...

流规格 数据类型 语言定义 Strict Validation Schema-less 流 二进制流 流规格 数据类型 在 Kuiper 中，每个列或表达式都有一个相关的数据类型。 数据类型描述（约束）该类型的列可以容纳的一组值或该类型可以产生的表达式。 以下是支持的数据类型的列表。 # 数据类型 说明 1 bigint 2 fl...

实践练习 本章教程的目标及涵盖范围 流处理 并行 Dataflows 自定义时间流处理 有状态流处理 通过状态快照实现的容错 实践练习 本章教程的目标及涵盖范围 本章教程对 Apache Flink 的基本概念进行了介绍，虽然省略了许多重要细节，但是如果你掌握了本章内容，就足以实现可扩展并行度的 ETL、数据分析以及事件驱动的流式应用程序...

流数据处理利器 流处理工具fx 流数据处理中间操作 用法与原理分析 From Filter Group Reverse Distinct Walk 并发处理 总结 流数据处理利器 流处理 (Stream processing) 是一种计算机编程范式，其允许给定一个数据序列 (流处理数据源)，一系列数据操作 (函数) 被应用到流中的...

流数据处理利器 流处理工具fx 流数据处理中间操作 用法与原理分析 From Filter Group Reverse Distinct Walk 并发处理 总结 流数据处理利器 流处理 (Stream processing) 是一种计算机编程范式，其允许给定一个数据序列 (流处理数据源)，一系列数据操作 (函数) 被应用到流中的...

QUIC流与HTTP/3 HTTP/3帧（frame） HTTP请求 HTTP响应 QPACK头部 QUIC流与HTTP/3 HTTP/3针对QUIC设计，所以它可以利用QUIC流的所有好处。而HTTP/2不得不在TCP之上构建它的数据流和复用概念。 通过HTTP/3传输的HTTP请求使用一系列的数据流完成。 HTTP/3帧（fram...