Spark 集成入门

MLeap Spark 的集成允许用户将 Spark 训练得到的 ML Pipeline 序列化为 MLeap Bundle（译者注：文档已被原作者删除），此外，MLeap 还进一步扩展了 Spark 的原生功能，增强了包括 One Hot Encoding 模型、One vs Rest 模型以及一元 / 二元数学运算转换在内的模型和算法。

添加 MLeap Spark 依赖到你的项目中

MLeap 依赖包及其快照已经被托管在 Maven Central 之上了，所以 Maven 构建文件或者 SBT 都能轻松获取得到这些包。MLeap 目前分别基于 Scala 2.10 和 2.11 做了交叉编译，我们尝试去维护与 Spark 相兼容的 Scala 版本。

使用 SBT

  1. libraryDependencies += "ml.combust.mleap" %% "mleap-spark" % "0.14.0"

想在 Spark 中使用 MLeap Extension 的话：

  1. libraryDependencies += "ml.combust.mleap" %% "mleap-spark-extension" % "0.14.0"

使用 Maven

  1. <dependency>
  2.   <groupId>ml.combust.mleap</groupId>
  3.   <artifactId>mleap-spark_2.11</artifactId>
  4.   <version>0.14.0</version>
  5. </dependency>

想在 Spark 中使用 MLeap Extension 的话：

  1. <dependency>
  2.   <groupId>ml.combust.mleap</groupId>
  3.   <artifactId>mleap-spark-extension_2.11</artifactId>
  4.   <version>0.14.0</version>
  5. </dependency>
  1. 参见编译指南章节，从源码编译 MLeap
  2. 参见核心概念章节，从整体上了解 ML Pipeline。
  3. 参见 Spark 文档，学习如何使用 Spark 来训练 ML Pipeline。
  4. 参见 Demo notebooks 章节，了解如何集成 PySpark 和 MLeap 来实现序列化 Pipeline 为 Bundle.ML，以及使用 MLeap 来进行评分。