欢迎来到 Apache Kylin™

Analytical Data Warehouse for Big Data

Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。

查看其它版本文档:
* v3.1 document
* v2.4 document
* 归档

Apache Kylin4.0 是 Apache Kylin3.x 之后一次重大的版本更新，它采用了全新的 Spark 构建引擎和 Parquet 作为存储，同时使用 Spark 作为查询引擎。

Apache Kylin4.0 的第一个版本 kylin4.0.0-alpha 于 2020 年 7 月份发布，此后相继发布 kylin4.0.0-beta 以及正式版本。

为了方便用户对 Kylin4.x 有更全面更深层的了解，本篇文档会着重从 Kylin4.x 与之前版本有何异同的角度对 Kylin4.x 做全面概述。文章分为以下几个部分：

• 为什么选择 Parquet 替换 HBase
• 预计算结果在 Kylin4.0 中如何存储
• Kylin 4.0 的构建引擎
• Kylin 4.0 的查询引擎
• Kylin4.0 与 Kylin3.1 功能对比
• Kylin 4.0 性能表现
• Kylin 4.0 查询和构建调优
• Kylin 4.0 用户案例

为什么选择 Parquet 替换 HBase

在 3.x 以及之前的版本中，kylin 一直使用 HBase 作为存储引擎来保存 cube 构建后产生的预计算结果。HBase 作为 HDFS 之上面向列族的数据库，查询表现已经算是比较优秀，但是它仍然存在以下几个缺点：
1. HBase 不是真正的列式存储；
2. HBase 没有二级索引，Rowkey 是它唯一的索引；
3. HBase 没有对存储的数据进行编码，kylin 必须自己进行对数据编码的过程；
4. HBase 不适合云上部署和自动伸缩；
5. HBase 不同版本之间的 API 版本不同，存在兼容性问题（比如，0.98，1.0，1.1，2.0）；
6. HBase 存在不同的供应商版本，他们之间有兼容性问题。

针对以上问题，社区提出了对使用 Apache Parquet + Spark 来代替 HBase 的提议，理由如下：
1. Parquet 是一种开源并且已经成熟稳定的列式存储格式；
2. Parquet 对云更加友好，可以兼容各种文件系统，包括 HDFS、S3、Azure Blob store、Ali OSS 等；
3. Parquet 可以很好地与 Hadoop、Hive、Spark、Impala 等集成；
4. Parquet 支持自定义索引。

预计算结果在 Kylin4.0 中如何存储

在 Kylin4.x 中，预计算结果以 Parquet 格式存储在文件系统中，文件存储结构对于 I/O 优化很重要，提前对存储目录结构进行设计，就能够在查询时通过目录或者文件名过滤数据文件，避免不必要的扫描。
Kylin4 对 cube 进行构建得到的预计算结果的 Parquet 文件在文件系统中存储的目录结构如下：
- cube_name
- SegmentA
- Cuboid-111
- part-0000-XXX.snappy.parquet
- part-0001-XXX.snappy.parquet
- …
- Cuboid-222
- part-0000-XXX.snappy.parquet
- part-0001-XXX.snappy.parquet
- …
- SegmentB
- Cuboid-111
- part-0000-XXX.snappy.parquet
- part-0001-XXX.snappy.parquet
- …
- Cuboid-222
- part-0000-XXX.snappy.parquet
- part-0001-XXX.snappy.parquet
- …

可以看出，与 HBase 相比，采用 Parquet 存储可以很方便地增删 cuboid 而不影响其他数据。利用这种特点，Kylin4 中实现了支持用户手动增删 cuboid 的功能，请参考：How to update cuboid list for a cube

Kylin 4.0 的构建引擎

在 Kylin4 中，Spark Engine 是唯一的构建引擎，与之前版本中的构建引擎相比，存在如下特点：

1、Kylin4 的构建简化了很多步骤。比如在 Cube Build Job 中， kylin4 只需要资源探测和 cubing 两个步骤，就可以完成构建；
2、由于 Parquet 会对存储的数据进行编码，所以在 kylin4 中不再需要维度字典和对维度列编码的过程；
3、Kylin4 对全局字典做了全新的实现，更多细节请参考：Kylin4 全局字典 ；
4、Kylin4 会根据集群资源、构建任务情况等对 Spark 进行自动调参；
5、Kylin4 提高了构建速度。

用户可以通过 kylin.build.spark-conf 开头的配置项手动修改构建相关的 Spark 配置，经过用户手动修改的 Spark 配置项不会再参与自动调参。

Kylin 4.0 的查询引擎

Kylin4 的查询引擎 Sparder(SparderContext) 是由 spark application 后端实现的新型分布式查询引擎，相比于原来的查询引擎，Sparder 的优势体现在以下几点：
- 分布式的查询引擎，有效避免单点故障；
- 与构建所使用的计算引擎统一为 Spark；
- 对于复杂查询的性能有很大提高；
- 可以从 Spark 的新功能及其生态中获益。

在 Kylin4 中，Sparder 是作为一个 long-running 的 spark application 存在的。 Sparder 会根据 kylin.query.spark-conf 开头的配置项中配置的 Spark 参数来获取 Yarn 资源，如果配置的资源参数过大，可能会影响构建任务甚至无法成功启动 Sparder，如果 Sparder 没有成功启动，则所有查询任务都会失败，用户可以在 kylin WebUI 的 System 页面中检查 Sparder 状态。

默认情况下，用于查询的 spark 参数会设置的比较小，在生产环境中，大家可以适当把这些参数调大一些，以提升查询性能。
kylin.query.auto-sparder-context 参数用于控制是否在启动 kylin 的同时启动 Sparder，默认值为 false，即默认情况下会在执行第一条 SQL 的时候才启动 Sparder，由于这个原因，执行第一条 SQL 的时候的会花费较长时间。
如果你不希望第一条 SQL 的查询速度低于预期，可以设置 kylin.query.auto-sparder-context 为 true，此时 Sparder 会随 Kylin 一起启动。

Kylin 4.0 与 Kylin 3.1 功能对比

Kylin 4.0 性能表现

为了测试 Kylin4.0 的性能，我们分别在 SSB 数据集和 TPC-H 数据集上做了 benchmark，与 Kylin3.1.0 进行对比。测试环境为 4 个节点的 CDH 集群，所使用的 yarn 队列分配了 400G 内存和 128 cpu cores。
性能测试对比结果如下：
- Comparison of build duration and result size（SSB）

测试结果可以体现以下两点：
- kylin4 的构建速度与 kylin3.1.0 的 Spark Engine 相比有明显提升；
- Kylin4 构建后得到的预计算结果 Parquet 文件大小与 HBase 相比有明显减小；

• Comparison of query response(SSB and TPC-H)
  
  

从查询结果对比中可以看出，对于简单查询，kylin3 与 Kylin4 不相上下，kylin4 略有不足；而对于复杂查询，kylin4 则体现出了明显的优势，查询速度比 kylin3 快很多。
并且，Kylin4 中的简单查询的性能还存在很大的优化空间。在有赞使用 Kylin4 的实践中，对于简单查询的性能可以优化到 1 秒以内。

如何升级

请参考文档：How to migrate metadata to Kylin4

Kylin 4.0 查询和构建调优

对于 Kylin4 的调优，请参考：How to improve cube building and query performance

Kylin 4.0 用户案例

Why did Youzan choose Kylin4

参考链接：
Kylin Improvement Proposal 1: Parquet Storage