SparkSQL实例 Spark组成 Spark-SequoiaDB连接组件 SparkSQL实例 Spark 是一个可扩展的数据分析平台，该平台集成了原生的内存计算。相比 Hadoop 的集群存储，在使用上有较大的性能优势。 Apache Spark 提供了高级的 Java、Scala 和 Python APIs ，同时拥有优化的引擎来支持常...

基础 Demo 构建和导出 MLeap Bundle 导入 MLeap Bundle 基础 Demo 基础 Demo 会引导你使用 Spark 来构建 ML Pipeline，导出 Pipeline 为 MLeap Bundle，以及随后在 MLeap Runtime 中使用它来转换 Data Frame。 构建和导出 MLeap Bund...

CREATE RESOURCE description example keyword CREATE RESOURCE description 该语句用于创建资源。仅 root 或 admin 用户可以创建资源。目前仅支持 Spark 外部资源。将来其他外部资源可能会加入到 Doris 中使用，如 Spark / G...

kafka集成指南 kafka集成指南 Apache kafka 是一个分布式的发布-订阅消息系统，它可以分布式的、可分区的、可重复提交的方式读写日志数据。下面我们将具体介绍Spark Streaming怎样从kafka中接收数据。 关联：在你的SBT或者Maven项目定义中，引用下面的组件到流应用程序中。 groupId = org ....

11.1 TiSpark 架构与原理 11.1.1 概述 11.1.2 富 TiKV Java Client 11.1.3 打通 TiKV 和 TiSpark 11.1.4 聚簇索引 11.1.5 非聚簇索引处理 11.1.6 聚合处理 11.1.7 分布式大数据写入 11.1.8 总结 11.1 TiSpark 架构与原理 TiSp...

Quick-Start Guide 设置spark-shell 插入数据 查询数据 更新数据 增量查询 特定时间点查询 从这开始下一步？ Quick-Start Guide 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源，我们将通过代码段展示如何插入和更新的Hudi默认存储类型数据集： 写时复制 。每次...

设置spark-shell 插入数据 {#inserts} 查询数据 {#query} 更新数据 {#updates} 增量查询 特定时间点查询 从这开始下一步？ 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源，我们将通过代码段展示如何插入和更新的Hudi默认存储类型数据集： 写时复制 。每次写操作之后，我们...

Running Alluxio on Alibaba Cloud Container Service for Kubernetes (ACK) Prerequisites Install Alluxio in ACK Specify Which Nodes to Install Alluxio Install Alluxio Using Ap...

Structured API基本使用 一、创建DataFrame和Dataset 1.1 创建DataFrame 1.2 创建Dataset 1. 由外部数据集创建 2. 由内部数据集创建 1.3 由RDD创建DataFrame 1. 使用反射推断 2. 以编程方式指定Schema 1.4 DataFrames与Datasets互相转换 ...

资源管理 基本概念 具体操作 支持的资源 Spark 参数 Spark 相关参数如下： 如果Spark用于ETL，还需要指定以下参数： 示例 资源管理 为了节省Doris集群内的计算、存储资源，Doris需要引入一些其他外部资源来完成相关的工作，如Spark/GPU用于查询，HDFS/S3用于外部存储，Spark/MapReduce用...