SageMaker 节点

综述

Amazon SageMaker 是一个云机器学习平台。 提供了完整的基础设施，工具和工作流来帮助用户可以创建、训练和发布机器学习模型。

Amazon SageMaker Model Building Pipelines 是一个可以直接使用SageMaker各种集成的机器学习管道构建工具，用户可以使用使用 Amazon SageMaker Pipeline 来构建端到端的机器学习系统。

对于使用大数据与人工智能的用户，SageMaker 任务组件帮助用户可以串联起大数据工作流与SagaMaker的使用场景。

DolphinScheduler SageMaker 组件的功能:

  • 启动 SageMaker Pipeline Execution，并持续获取状态，直至Pipeline执行完成。

创建任务

  • 点击项目管理-项目名称-工作流定义，点击“创建工作流”按钮，进入 DAG 编辑页面；
  • 拖动工具栏的 SageMaker - 图1 任务节点到画板中。

任务样例

任务参数描述
SagemakerRequestJson启动SageMakerPipeline的需要的请求参数，可见 AWS API

组件图示如下：

sagemaker_pipeline

环境配置

需要进行AWS的一些配置，修改common.properties中的xxxxx为你的配置信息

  1. # The AWS access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
  2. resource.aws.access.key.id=<YOUR AWS ACCESS KEY>
  3. # The AWS secret access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
  4. resource.aws.secret.access.key=<YOUR AWS SECRET KEY>
  5. # The AWS Region to use. if resource.storage.type=S3 or use EMR-Task, This configuration is required
  6. resource.aws.region=<AWS REGION>