背景 背景 作为INF DC所规划的对外统一分布式API，Bigflow目前支持了Local/DCE两种计算引擎， Task Manager流式计算引擎正在联合开发和迭代中。将更多的计算引擎纳入Bigflow中， 可以使得用户有更多的选择 另一方面，作为社区最火热的Apache Spark，在公司内部的应用规模也越来越大，相对于 传统的DCE(Ma...

Counter Counter bigflow.counter.increase (name, increment=1) 累加name对应的counter，累加值为increment 参数: name (str ) — counter名称，只接受str类型 increment (int ) — 累加值，只接受正数 Raises: err...

测试相关 功能测试 性能测试 与PySpark的Benchmark Case 测试相关 功能测试 单元测试：主要使用GTest(针对C++代码)/Scala(针对Scala代码)进行 集成测试：Bigflow目前使用LocalPipeline做本地的集成测试，由于Spark本身支持Local运行模式，由Driver进程调度Spark ta...

All Modules All Modules bigflow package Submodules PipelineFactory Counter Exceptions Input Output PCollection PObject PTable PType Serde Transforms Subpackages...

Decorators Decorators Decorators used by Bigflow Python API bigflow.util.decorators.advance_logger (loglevel) A decorator that log performance infos of a function call at ru...

示例 示例1 – 单Stage(‘map-only’)作业 示例2 – WordCount 示例 示例1 – 单Stage(‘map-only’)作业 from bigflow import base def foo ( line ): return "" . join ( set ( line )) p ...