BasePipeline BasePipeline Pipeline基类定义 class bigflow.pipeline.pipeline_base.PipelineBase (**options) 基类：object Pipeline基类 add_archive (file_path, resource_path) 向Pipe...

Serde Serde Bigflow 内置序列化/反序列化器 class bigflow.serde.BoolSerde 基类：bigflow.serde.CppSerde bool类型序列化/反序列化器 deserialize (buf) serialize (obj) class bigflow.serde.CP...

PTable PTable PTable 定义 class bigflow.ptable.PTable (value, **options) 基类：bigflow.ptype.PType 用于表示具有分布式Key-Value映射关系的 bigflow.ptype.PType Constructor .. note:: 用户不应当...

系统概览 Flume-Api Flume-Core Flume-Runtime 参考文献 系统概览 Flume是百度INF和BDG团队联合开发的分布式数据流计算框架, 目标是提供比MapReduce更加灵活易用的计算模型. 众所周知，MapReduce 模型将数据处理分为 Map/Shuffle/Reduce 三个阶段, 降低了海量数据处理的...

PObject PObject bigflow.pobject.PObject 定义 class bigflow.pobject.PObject (node, pipeline) 基类：bigflow.ptype.PType 用于表示单个元素的 bigflow.ptype.PType ，通常为聚合类变换的结果，例如 bigflow....

Output Output 定义所有的数据输出抽象(Target)，用于Pipeline.write()方法 class bigflow.output.FileBase (path, **options) 基类：object 用于Pipeline.write()方法读取文件的基类 参数: path (str ) — 写文件的path...