榜单
服务器优惠
AI论文
IT文库
-
2.6. Executing Presto on Spark
2.6. Executing Presto on Spark Steps 2.6. Executing Presto on Spark Presto on Spark makes it possible to leverage Spark as an execution framework for Presto queries. This is u... -
传递函数到 Spark
传递函数到 Spark 传递函数到 Spark Spark 的 API 很大程度上依靠在驱动程序里传递函数到集群上运行。这里有两种推荐的方式： 匿名函数 (Anonymous function syntax) ，可以在比较短的代码中使用。 全局单例对象里的静态方法。例如，你可以定义 object MyFunctions 然后传递 MyFounc... -
什么是 Nebula Spark Connector
什么是 Nebula Spark Connector 什么是 Nebula Spark Connector Nebula Spark Connector （在本手册中简称为 Spark Connector）是一个 Spark 连接器，提供了通过 Spark 标准形式读写 Nebula Graph 数据库的能力，由以下两部分组成： Reader：为您... -
Spark Engine File Import Export
Spark Engine File Import Export 1 Background 2 Thinking 3 Implementation 3.1 Export 3.2 Import Spark Engine File Import Export 1 Background Data analysts or data warehouse... -
Spark SQL 常用聚合函数
聚合函数Aggregations 一、简单聚合 1.1 数据准备 1.2 count 1.3 countDistinct 1.4 approx_count_distinct 1.5 first & last 1.6 min & max 1.7 sum & sumDistinct 1.8 avg 1.9 数学函数 1.10 聚合数据到集合 ... -
spark性能调优(官方)
Spark调优 1 数据序列化 2 内存调优 2.1 内存管理概览 2.2 评估内存消耗 2.3 数据结构调优 2.4 序列化RDD存储 2.5 垃圾回收调优 衡量GC的影响 高级GC调优 3 其他事项 3.1 并行度 3.2 Reduce任务的内存占用 3.3 广播大变量 3.4 数据本地性 Spark调优 由于大部分... -
Spark SQL数据类型
Spark SQL数据类型 Spark SQL数据类型 数字类型 ByteType：代表一个字节的整数。范围是-128到127 ShortType：代表两个字节的整数。范围是-32768到32767 IntegerType：代表4个字节的整数。范围是-2147483648到2147483647 LongType：代表8个字节的整数。范围是-9223... -
2.6. Executing Presto on Spark
2.6. Executing Presto on Spark Steps 2.6. Executing Presto on Spark Presto on Spark makes it possible to leverage Spark as an execution framework for Presto queries. This is u... -
[Spark on Angel] Sparse LR with FTRL
[Spark on Angel] Sparse LR with FTRL 1. 算法原理 2. Async mini-batch FTRL 3. 运行和性能评测 References [Spark on Angel] Sparse LR with FTRL 目前很多CTR预估的业务场景中，不仅训练样本规模达到10亿级别，而且特征的规模也达到十...