Spark Engine 1 Use of Spark Engine 1.1 Environment variable configuration 1.2 Start dependent services 1.3 Custom parameter configuration 1.4 Front-end deployment 1.5 spark sta...

FlinkCEP - Flink的复杂事件处理 开始 模式API 单个模式 量词 条件 where(condition) or(condition) until(condition) subtype(subClass) oneOrMore() timesOrMore(#times) times(#ofTimes) times...

UNLOAD Statements Run a UNLOAD statement UNLOAD MODULE UNLOAD Statements UNLOAD statements are used to unload a built-in or user-defined module. Run a UNLOAD statement Java...

Spark 引擎 1.Spark引擎使用前的环境配置 2.Spark引擎的配置和部署 2.1 spark版本的选择和编译 2.2 spark engineConn部署和加载 2.3 spark引擎的标签 3.spark引擎的使用 准备操作，队列设置 3.1 通过Linkis SDK进行使用 3.2 通过Linkis-cli进行任务提交 3.3...

Concepts & Common API Structure of Table API and SQL Programs Create a TableEnvironment Create Tables in the Catalog Temporary vs Permanent tables. Shadowing Create a Table Vir...

Integration Libraries from Third-party Developers Infrastructure Products Programming Language Ecosystems Integration Libraries from Third-party Developers Disclaimer Yandex...

测试相关 功能测试 性能测试 与PySpark的Benchmark Case 测试相关 功能测试 单元测试：主要使用GTest(针对C++代码)/Scala(针对Scala代码)进行 集成测试：Bigflow目前使用LocalPipeline做本地的集成测试，由于Spark本身支持Local运行模式，由Driver进程调度Spark ta...

一、概述 一、概述 spark sql 是用于操作结构化数据的程序包 通过spark sql ，可以使用SQL 或者 HQL 来查询数据，查询结果以Dataset/DataFrame 的形式返回 它支持多种数据源，如Hive 表、Parquet 以及 JSON 等 它支持开发者将SQL 和传统的RDD 变成相结合 Dat...

Scala具备给参数提供默认值的能力，这样调用者就可以忽略这些具有默认值的参数。 def log ( message : String , level : String = "INFO" ) = println ( s "$level: $message" ) log ( "System starting" ) /...

垃圾回收 垃圾回收 我们对生产中花了很多时间来调整垃圾回收。垃圾回收的关注点与Java大致相似，尽管一些惯用的Scala代码比起惯用的Java代码会容易产生更多(短暂的)垃圾——函数式风格的副产品。Hotspot的分代垃圾收集通常使这不成问题，因为短暂的(short-lived)垃圾在大多情形下会被有效的释放掉。 在谈GC调优话题前，先看看这个 A...