Doris支持spark导入设计文档 背景 名词解释 设计 目标 实现方案 方案1 语法 SparkLoadJob SparkLoadPendingTask LoadLoadingTask BE导入任务执行 方案2 总结 Doris支持spark导入设计文档 背景 Doris现在支持Broker load/routine...

Spark SQL 外部数据源 一、简介 1.1 多数据源支持 1.2 读数据格式 1.3 写数据格式 二、CSV 2.1 读取CSV文件 2.2 写入CSV文件 2.3 可选配置 三、JSON 3.1 读取JSON文件 3.2 写入JSON文件 3.3 可选配置 四、Parquet 4.1 读取Parquet文件 2.2 写入Pa...

什么是 Nebula Spark Connector Writer Nebula Spark Connector Writer 实现原理 逐条写入数据 批量数据写入 应用示例 什么是 Nebula Spark Connector Writer Nebula Spark Connector Writer 是 Nebula Spark Connec...

什么是 Nebula Spark Connector Reader Nebula Spark Connector Reader 实现原理 接口 实现类图 应用示例 什么是 Nebula Spark Connector Reader Nebula Spark Connector Reader 是 Nebula Spark Connector 的组...

Spark性能优化指南——基础篇 1 前言 2 开发调优 2.1 调优概述 2.2 原则一：避免创建重复的RDD 一个简单的例子 2.3 原则二：尽可能复用同一个RDD 一个简单的例子 2.4 原则三：对多次使用的RDD进行持久化 Spark的持久化级别 如何选择一种最合适的持久化策略 2.5 原则四：尽量避免使用shuffle类算子 Br...

Doris支持spark导入设计文档 背景 名词解释 设计 目标 实现方案 方案1 语法 SparkLoadJob SparkLoadPendingTask LoadLoadingTask BE导入任务执行 方案2 总结 Doris支持spark导入设计文档 背景 Doris现在支持Broker load/routine l...

Spark引擎的文件导入导出 1 背景 2 思考 3 实现 3.1 导出 3.2 导入 Spark引擎的文件导入导出 1 背景 数据分析师或数据仓库员经常需要将数据从数据库导出到Excel等文件进行数据分析，或将数据导出为Excel提供给用户或合作商户。 而且，用户经常需要将CSV，Excel等数据文件和线上Hive数据库的数据进行联合分...

Doris支持spark导入设计文档 背景 名词解释 设计 目标 实现方案 方案1 语法 SparkLoadJob SparkLoadPendingTask LoadLoadingTask BE导入任务执行 方案2 总结 Doris支持spark导入设计文档 背景 Doris现在支持Broker load/routine...

Spark部署模式与作业提交 一、作业提交 1.1 spark-submit 1.2 deploy-mode 1.3 master-url 二、Local模式 三、Standalone模式 3.1 环境配置 3.2 集群配置 3.3 启动 3.4 提交作业 3.5 可选配置 三、Spark on Yarn模式 3.1 配置 3.2 ...

第十三章 Spark 第十三章 Spark