Databricks Spark 知识库 Copyright License 来源(书栈小编注) Databricks Spark 知识库 最佳实践 避免使用 GroupByKey 不要将大型 RDD 的所有元素拷贝到请求驱动者 常规故障处理 Job aborted due to stage failure: Task not s...

查询 Hudi 数据集 查询引擎支持列表 读优化表 实时表 Hive 读优化表 实时表 增量拉取 Spark 读优化表 实时表 增量拉取 PrestoDB Impala (3.4 or later) 读优化表 查询 Hudi 数据集 从概念上讲，Hudi物理存储一次数据到DFS上，同时在其上提供三个逻辑视图，如之前 所述。...

二、SparkSession 二、SparkSession spark sql 中所有功能的入口点是SparkSession 类。它可以用于创建DataFrame 、注册DataFrame 为table 、在table 上执行SQL 、缓存table 、读写文件等等。 要创建一个SparkSession ，仅仅使用SparkSession...

使用配方 Ozone 使用配方 Prometheus Spark 使用配方 Ozone 使用配方 关于如何通过其它软件使用 Ozone 的标准文档，比如通过 Apache Spark 使用 Ozone。 Prometheus 使用 Prometheus 监控 Ozone 的简要说明 Spark 如何在 K8s 上通过 Apache Sp...

Reading from Databases Reading from Databases Most likely, you aren’t going to be storing your logs data in a database (that is likely too expensive), but there may be other da...

使用示例 示例环境 示例数据 前提条件 第 1 步. 修改配置文件 第 2 步. 执行 nebula-algorithm 测试结果 使用示例 一般，您可以按以下步骤使用 nebula-algorithm： 参考配置文件修改 nebula-algorithm 的配置。 运行 nebula-algorithm。 本文以一个示例说明如何使用...

Recipes Recipes of Ozone Ozone with Boto3 Client Prometheus Spark Recipes Recipes of Ozone Standard how-to documents which describe how to use Ozone with other Software. Fo...

在 Hadoop 中通过挂载的方式使用 JuiceFS 准备工作 挂载 JuiceFS 在 Spark 中访问 JuiceFS 在 Hive 中使用 JuiceFS 数据迁移 在 JuiceFS 上运行 HBase 在 Hadoop 中通过挂载的方式使用 JuiceFS 提示 ：本案例使用的是 JuiceFS 云服务。如果你使用的是 Ju...

Binary File Data Source Binary File Data Source Since Spark 3.0, Spark supports binary file data source, which reads binary files and converts each file into a single record tha...

生态工具概览 Nebula Graph Studio Nebula Exchange Nebula Importer Nebula Spark Connector Nebula Flink Connector Nebula Console Nebula Docker Compose API 未发布 生态工具概览 不同版本的生态工具支持...