CREATE RESOURCE

description

  1. 该语句用于创建资源。仅 root admin 用户可以创建资源。目前仅支持 Spark 外部资源。将来其他外部资源可能会加入到 Doris 中使用,如 Spark/GPU 用于查询,HDFS/S3 用于外部存储,MapReduce 用于 ETL 等。
  2. 语法:
  3. CREATE [EXTERNAL] RESOURCE "resource_name"
  4. PROPERTIES ("key"="value", ...);
  5. 说明:
  6. 1. PROPERTIES中需要指定资源的类型 "type" = "spark",目前仅支持 spark
  7. 2. 根据资源类型的不同 PROPERTIES 有所不同,具体见示例。

example

  1. 1. 创建yarn cluster 模式,名为 spark0 Spark 资源。
  2. CREATE EXTERNAL RESOURCE "spark0"
  3. PROPERTIES
  4. (
  5. "type" = "spark",
  6. "spark.master" = "yarn",
  7. "spark.submit.deployMode" = "cluster",
  8. "spark.jars" = "xxx.jar,yyy.jar",
  9. "spark.files" = "/tmp/aaa,/tmp/bbb",
  10. "spark.executor.memory" = "1g",
  11. "spark.yarn.queue" = "queue0",
  12. "spark.hadoop.yarn.resourcemanager.address" = "127.0.0.1:9999",
  13. "spark.hadoop.fs.defaultFS" = "hdfs://127.0.0.1:10000",
  14. "working_dir" = "hdfs://127.0.0.1:10000/tmp/doris",
  15. "broker" = "broker0",
  16. "broker.username" = "user0",
  17. "broker.password" = "password0"
  18. );
  19. Spark 相关参数如下:
  20. 1. spark.master: 必填,目前支持yarnspark://host:port。
  21. 2. spark.submit.deployMode: Spark 程序的部署模式,必填,支持 clusterclient 两种。
  22. 3. spark.hadoop.yarn.resourcemanager.address: masteryarn时必填。
  23. 4. spark.hadoop.fs.defaultFS: masteryarn时必填。
  24. 5. 其他参数为可选,参考http://spark.apache.org/docs/latest/configuration.html
  25. Spark 用于 ETL 时需要指定 working_dir broker。说明如下:
  26. working_dir: ETL 使用的目录。spark作为ETL资源使用时必填。例如:hdfs://host:port/tmp/doris。
  27. broker: broker 名字。spark作为ETL资源使用时必填。需要使用`ALTER SYSTEM ADD BROKER` 命令提前完成配置。
  28. broker.property_key: broker读取ETL生成的中间文件时需要指定的认证信息等。

keyword

  1. CREATE, RESOURCE