XLearning常见问题 XLearning常见问题 1. 如何使用自定义版本或与集群安装版本不一致的框架执行作业？ 2. 如何查看作业执行进度？ 3. XLearning目前支持哪些分布式深度学习框架作业的提交，如何与单机模式区分？ 4. TensorFlow分布式作业如何设置ClusterSpec？ 5. 作业提交后，出现报错信息：j...

15.Yarn 2.6+ 版本中，提供有节点标签表达设置功能，XLearning可以通过指定配置项 xlearning.am.nodeLabelExpression、xlearning.worker.nodeLabelExpression、xlearning.ps.nodeLabelExpression 来对am、worker、ps各角色进行指定类型节点的提...

编译&部署指南 1 编译环境依赖 2 编译方法 3 部署环境依赖 4 XLearning客户端部署方法 5 XLearning History Server启动方法 [可选] 编译&部署指南 1 编译环境依赖 jdk >= 1.7 Maven >= 3.3 2 编译方法 在源码根目录下，执行: mvn package 完成...

架构设计 架构设计 XLearning系统包括三种组件： Client ：XLearning客户端，负责启动作业及获取作业执行状态； ApplicationMaster（AM） ：负责输入数据分片、启动及管理Container、执行日志保存等； Container ：作业的实际执行者，负责启动Worker或PS（Parameter Serv...

9. Hadoop2.6.4以下版本如何使用查看作业执行占用的CPU内存负载信息功能？ 9. Hadoop2.6.4以下版本如何使用查看作业执行占用的CPU内存负载信息功能？ 因CPU Metrix功能中加载所需js文件是基于Hadoop中WebApp的build方法实现的，Hadoop2.6.4以下版本无该方法，若需要查看CPU Metrix的相关...

输入数据读取方式 1. Download 2. Placeholder 3. InputFormat 输入数据读取方式 1. Download 该模式下，遍历用户指定的HDFS路径下所有文件，并以文件 为单位将输入数据平均分配给各Worker，Worker在执行程序启动前，将所分配到的数据文件从HDFS下载到本地指定路径。XLearning...

17.MPI类型作业提交前，需要 17.MPI类型作业提交前，需要 将XLearning提供的openmpi包（在3.1.1版本上的修改，位于examples/mpi/下）解压至/usr/local 下，则路径为/usr/local/openmpinossh ; 在XLearning客户端配置文件xlearning-site.xml 中添加如下...

输出数据保存方式 1. Upload 2. OutputFormat 输出数据保存方式 1. Upload XLearning默认采用Upload模式对输出数据进行保存至HDFS操作，示例说明如下： XLearning 作业提交脚本中，指定参数： -- output / tmp / output #model \ 在此参数...

系统配置参数 系统配置参数 系统配置可在XLearning系统客户端$XLEARNING_HOME/conf/xlearning-site.xml 中添加配置项进行默认值修改或在作业提交时通过—conf 参数进行修改。 应用配置 Board服务配置 系统配置 History配置 MPI使用配置 Docker使用配置

功能特性 1 支持多种深度学习框架 2 基于HDFS的统一数据管理 3 可视化界面 4 原生框架代码的兼容性 功能特性 1 支持多种深度学习框架 支持TensorFlow、MXNet分布式和单机模式，支持所有的单机模式的深度学习框架，如Caffe、Theano、PyTorch等。对于同一个深度学习框架支持多版本和自定义版本。 2 基...