使用HDFS

简介

Cloud-ML平台支持从HDFS读取训练数据和保存训练模型等。当前只有Tensorflow框架支持直接使用HDFS作为文件路径。小米内部HDFS需要通过kerberos认证。

使用

Cloud-ML提供了前置命令的功能，可以通过前置命令执行kinit xxx@XIAOMI.HADOOP设置kerboros密码。支持的集群和namenode参考Tensorflow中使用hdfs

  1. cloudml jobs submit -n linear -m linear.task -u fds://cloudml/linear-1.0.tar.gz -a "--max_epochs 10 --model_version 1 --model_path hdfs://c3-hadoop-prc-ct26.bj:11200/user/u_yejianwu/linear_model" -c 8 -M 30G -d cnbj6-repo.cloud.mi.com/cloud-ml/tensorflow-gpu:1.3.0-xm1.0.0 -pc "echo 6xxxxxxxxxxxT | kinit u_yejianwu@XIAOMI.HADOOP"

原文: http://docs.api.xiaomi.com/cloud-ml/trainjob/0506_use_hdfs.html