编译&部署指南

1 编译环境依赖

  • jdk >= 1.7
  • Maven >= 3.3

2 编译方法

在源码根目录下，执行:

mvn package

完成编译后，在源码根目录下的target目录中会生成发布包xlearning-1.1-dist.tar.gz。该发布包解压后的主要目录结构如下：

  • bin：作业提交脚本
  • lib：XLearning jar包及所依赖jar包
  • conf：XLearning配置文件
  • sbin：XLearning History Server启动脚本
  • data：运行示例所需输入数据和文件
  • examples：运行示例

3 部署环境依赖

  • CentOS 7.2
  • Java >= 1.7
  • Hadoop = 2.6，2.7，2.8
  • [可选]各计算节点具有所需学习平台的依赖环境，如TensorFlow、numpy、Caffe等。

4 XLearning客户端部署方法

在XLearning发布包根目录$XLEARNING_HOME下的conf目录中，分别配置如下文件：

  • xlearning-env.sh：设置相关环境变量，如：

    • JAVA_HOME
    • HADOOP_CONF_DIR

  • xlearning-site.xml：详细系统配置说明请见配置参数部分。

  • log4j.properties：配置日志级别

5 XLearning History Server启动方法 [可选]

  • 执行$XLEARNING_HOME/sbin/start-history-server.sh