欢迎来到Bigflow Python项目 Bigflow是什么? 为什么要使用Bigflow? 在线试用 文档索引 使用者文档 开发者文档 Github 欢迎来到Bigflow Python项目 Bigflow是什么? Baidu Bigflow (以下简称Bigflow)是百度的一套计算框架， 它致力于提供一套简单易用的接口来描...

名次解释 名次解释 Bigflow API: 面向Bigflow最终用户的API，提供了函数式编程风格的高层计算抽象接口， 简单易用。API中最主要的抽象包括Pipeline（计算的入口，同时可以指定某种特定的执行 引擎），PTypes（分布式数据集抽象，概念来自Google FlumeJava中的PCollection，与Spark RDD类似） ...

设计思路及折衷 需要利用Spark的哪些机制 数据计算方式 Cache机制 Spark RDD与Bigflow RuntimeWorker的交互方式 访问Peta等存储的方式 内存管理 Bigflow在Spark平台的作业分发 设计思路及折衷 需要利用Spark的哪些机制 作为所谓的“下一代数据处理引擎”，Spark与相对更早的Ha...

设计目标 功能指标 性能指标 设计目标 功能指标 Baidu Bigflow(以下简称Bigflow)能够将Baidu Spark(以下简称Spark)作为底层支持的引擎之一， 更加具体地： 当前Bigflow的多语言版本API均可以使用：Bigflow Python和C++ API 除指定Pipeline（引擎的抽象，例如Pipelin...

Bigflow 设计文档 Bigflow 设计文档 注意：下述文档为设计文档原文，后续有不少实现发生过改变，故可能有细节上与文档并不一致。 相关文档仅供学习Bigflow原理之用。 Bigflow架构与百度分布式技术栈： 其中，Bigflow核心的优化与执行层称为Bigflow Core层（又称Flume），它定义了一套与引擎无关的计...