PySpark 集成入门

MLeap PySpark 的集成允许用户将 Spark 训练得到的 ML Pipeline 序列化为 MLeap Bundle（译者注：文档已被原作者删除），此外，MLeap 还进一步扩展了 Spark 的原生功能，增强了包括 One Hot Encoding、One vs Rest 在内的模型。但与 MLeap Spark 的集成不同，MLeap 目前尚未提供 PySpark 与 Spark Extensions Transformer 的集成。

添加 MLeap Spark 依赖到你的项目中

在添加 MLeap PySpark 依赖之前，你首先应该添加 MLeap Spark 依赖到项目中。

MLeap PySpark 依赖包可以从 combust/mleap 仓库的 Python 包中获取。

只需要 Clone 这个 Git 仓库，添加 mleap/pyhton 目录到 Python 的搜索路径中，并在代码里导入 mleap.pyspark 包，即可集成 MLeap 到你的 PySpark 项目中。

   git clone git@github.com:combust/mleap.git

随后在你的 Python 环境中：

   import sys
   sys.path.append('<git directory>/mleap/python')
   import mleap.pyspark

注：mleap.pyspark 包的导入操作需要在导入其他 PySpark 库之前执行。

注：如果你使用的是 Notebook 环境，请确保在配置 MLeap PySpark 之前阅读过相应的指南教程：

• Jupyter
• Zeppelin

• Databricks

  使用 PIP

此外，依赖包也可通过 PIP 从 https://pypi.python.org/pypi/mleap 获取。

要使用 PySpark 对应的 MLeap Extension：

1. 参见编译指南章节，从源码编译 MLeap。
2. 参见核心概念章节，从整体上了解 ML Pipeline。
3. 参见 Spark 文档，学习如何在 Spark 环境中训练 ML Pipeline。
4. 参见 Demo notebooks 章节，了解如何集成 PySpark 和 MLeap 来实现序列化 Pipeline 为 Bundle.ML。