Bigflow On Spark 设计

• 背景
• 名次解释
• 设计目标
  • 功能指标
  • 性能指标
• 整体架构
• 开发环境
  • 项目规范
• 设计思路及折衷
  • 需要利用Spark的哪些机制
    • 数据计算方式
    • Cache机制
  • Spark RDD与Bigflow RuntimeWorker的交互方式
  • 访问Peta等存储的方式
  • 内存管理
  • Bigflow在Spark平台的作业分发
• 模块设计
  • Core API(LogicalPlan)
  • SparkPlanner
    • 逻辑计划定义(proto描述)
    • Planner策略–LogicalOptimizing
    • Planner策略–TopologicalOptimizing
    • Planner翻译–RuntimeProcedure
    • Planner翻译–TranslationProcedure
  • SparkRuntime
    • Runtime(client):
    • Runtime(Worker):
    • Cache机制
    • 其他相关问题：构建、部署和依赖
• 测试相关
  • 功能测试
  • 性能测试
  • 与PySpark的Benchmark Case
• 示例
  • 示例1 – 单Stage(‘map-only’)作业
  • 示例2 – WordCount