快速入门 在Python shell中使用Bigflow Python 准备 更多的变换操作 完整的程序 批处理引擎（spark） 更多使用示例 进阶教程 快速入门 本教程旨在提供一个使用Bigflow Python的快速上手演示。教程首先会通过在Python交互式环境(Interactive Shell)中一步一步展示Bigflow ...

Exceptions Exceptions Python API异常定义 exception bigflow.error.BigflowHDFSException (msg=None, internal=None) 基类：bigflow.error.Error 访问HDFS抛出的异常 exception bigflow.error.Bi...

Bigflow Contributing Contributing by Testing Releases Contributing by Reviewing Changes Contributing Documentation Changes Contributing Bug Reports Bigflow 代码贡献 The Review Pro...

编译 测试 使用Docker构建 目前在centos7.1测试通过 编译 git clone https : //github.com/baidu/bigflow.git cd bigflow / build_support sh build_deps . sh source ./ environment mkdir - p...

开发环境 项目规范 开发环境 Bigflow的开发工作完全按照层次做解耦，不同层之间通过Pb进行计划的序列化/反序列化交互， 按照层次划分的 Bigflow API：与具体的语言有关，这里涉及Python/C++ Bigflow Core： 相关软件及硬件 项目规范 代码规范 对于C++/Python，要求符合公司的代码规范 对于...

Transforms Transforms 定义Bigflow Python中所有的变换 Author: Wang, Cong(bigflow-opensource@baidu.com ), panyunhong(bigflow-opensource@baidu.com ) 注意：除特殊说明外，所有变换的用户自定义方法(UDF)输入参数都不允许修...

整体架构 整体架构 从流程上讲： (Client端)：用户使用Bigflow API写出的代码经由Core API转换为逻辑计划后，通过SparkPlanner翻译为物理计划， 再由一个维护SparkContext和任务执行情况的后台Launcher从物理计划构建出Spark RDD DAG图，然后提交给Spark平台 (Worker端): 当某一...

ppt下载 ppt下载 Bigflow分享ppt-1 Bigflow分享ppt-2 进阶版