部署Spark Standalone集群 部署步骤 部署单实例的master服务 部署多实例的worker实例 Spark数据读取 Master节点主备高可用 部署Spark Standalone集群 Standalone 是 Spark 自身提供的一种主从集群部署模式。本文讲述一个常规1主多从的集群部署模式，该模式下master服务依靠Ra...

部署Spark Standalone集群 部署步骤 部署单实例的master服务 部署多实例的worker实例 Spark数据读取 Master节点主备高可用 部署Spark Standalone集群 Standalone 是 Spark 自身提供的一种主从集群部署模式。本文讲述一个常规1主多从的集群部署模式，该模式下master服务依靠Ra...

Apache Druid vs Spark Apache Druid vs Spark Druid and Spark are complementary solutions as Druid can be used to accelerate OLAP queries in Spark. Spark is a general cluster co...

用 Spark 构建 Cube 准备阶段 安装 Kylin v2.1.0 及以上版本 准备 “kylin.env.hadoop-conf-dir” 检查 Spark 配置 创建和修改样例 cube 用 Spark 构建 Cube 通过Apache Livy使用Spark 可选功能 疑难解答 进一步 用 Spark 构建 Cube ...

用 Spark 构建 Cube 准备阶段 安装 Kylin v2.1.0 及以上版本 准备 “kylin.env.hadoop-conf-dir” 检查 Spark 配置 创建和修改样例 cube 用 Spark 构建 Cube 疑难解答 进一步 用 Spark 构建 Cube Kylin v2.0 介绍了 Spark cube en...

Spark Streaming 整合 Flume 一、简介 二、推送式方法 2.1 配置日志收集Flume 2.2 项目依赖 2.3 Spark Streaming接收日志数据 2.4 项目打包 2.5 启动服务和提交作业 2.6 测试 2.7 注意事项 1. 启动顺序 2. 版本一致 三、拉取式方法 3.1 配置日志收集Flume ...

spark性能调优 1 Spark 是如何执行程序的 2 选择正确的 Operator 3 什么时候不发生 Shuffle 4 什么情况下 Shuffle 越多越好 5 二次排序 6 调试资源分配 7 调试并发 8 压缩数据结构 9 数据格式 参考文献 spark性能调优 当你开始编写Apache Spark 代码或者浏览公开的...

Running Spark on Alluxio Overview Prerequisites Basic Setup Examples: Use Alluxio as Input and Output Access Data Only in Alluxio Access Data in Under Storage Advanced Setup ...

部署步骤 部署单实例的master服务 部署多实例的worker实例 Spark数据读取 Master节点主备高可用 Standalone 是 Spark 自身提供的一种主从集群部署模式。本文讲述一个常规1主多从的集群部署模式，该模式下master服务依靠Rainbond平台监控保障其可用性，支持重新调度重启。 worker服务可以根据需要伸缩多...