欢迎来到Flume项目

Flume是百度研发的分布式数据流计算框架, 目标是提供比MapReduce更加灵活易用的计算模型。 它是Bigflow和Wing（百度内部一个分布式SQL项目）的底层优化和执行引擎。

它设计之初部分参考了Google的FlumeJava，故得此名。

用户文档

• 系统概览
  • Flume-Api
  • Flume-Core
  • Flume-Runtime
  • 参考文献
• Flume-Core
  • 核心概念
  • 逻辑执行计划
  • 编程实例 - WordCount
  • Reference
• Backend和执行流程
• 算子执行框架
  • 基本类型
  • 串联执行模型
  • 嵌套执行模型
  • 示例场景
• 优化器框架
  • 工作流程
  • 执行计划的中间表示
  • 优化框架
  • 优化算法

开发者文档

• Planner编码规范
  • 前言
  • 规范
• Planner优化——Analysis与Pass说明
  • 1. Analysis与Pass调用
  • 2. Analysis与Pass依赖
  • 3. Analysis介绍
  • 4. Pass介绍
• 传输数据编码格式
  • 背景
  • 编码格式
  • 使用场景&实例分析
  • 现有编码方式及改进

索引与图表

• Index
• 模块索引
• 搜索页面