3. 资源中心

3.1 hdfs资源配置

  • 上传资源文件和udf函数，所有上传的文件和资源都会被存储到hdfs上，所以需要以下配置项：
  1. conf/common/common.properties  
  2.     # Users who have permission to create directories under the HDFS root path
  3.     hdfs.root.user=hdfs
  4.     # data base dir, resource file will store to this hadoop hdfs path, self configuration, please make sure the directory exists on hdfs and have read write permissions。"/escheduler" is recommended
  5.     data.store2hdfs.basepath=/dolphinscheduler
  6.     # resource upload startup type : HDFS,S3,NONE
  7.     res.upload.startup.type=HDFS
  8.     # whether kerberos starts
  9.     hadoop.security.authentication.startup.state=false
  10.     # java.security.krb5.conf path
  11.     java.security.krb5.conf.path=/opt/krb5.conf
  12.     # loginUserFromKeytab user
  13.     login.user.keytab.username=hdfs-mycluster@ESZ.COM
  14.     # loginUserFromKeytab path
  15.     login.user.keytab.path=/opt/hdfs.headless.keytab
  17. conf/common/hadoop.properties      
  18.     # ha or single namenode,If namenode ha needs to copy core-site.xml and hdfs-site.xml
  19.     # to the conf directory，support s3，for example : s3a://dolphinscheduler
  20.     fs.defaultFS=hdfs://mycluster:8020    
  21.     #resourcemanager ha note this need ips , this empty if single
  22.     yarn.resourcemanager.ha.rm.ids=192.168.xx.xx,192.168.xx.xx    
  23.     # If it is a single resourcemanager, you only need to configure one host name. If it is resourcemanager HA, the default configuration is fine
  24.     yarn.application.status.address=http://xxxx:8088/ws/v1/cluster/apps/%s
  • yarn.resourcemanager.ha.rm.ids与yarn.application.status.address只需配置其中一个地址，另一个地址配置为空。
  • 需要从Hadoop集群的conf目录下复制core-site.xml、hdfs-site.xml到dolphinscheduler项目的conf目录下，重启api-server服务。

3.2 文件管理

是对各种资源文件的管理，包括创建基本的txt/log/sh/conf/py/java等文件、上传jar包等各种类型文件，可进行编辑、重命名、下载、删除等操作。

3. 资源中心 - 图1

  • 创建文件

文件格式支持以下几种类型：txt、log、sh、conf、cfg、py、java、sql、xml、hql、properties

3. 资源中心 - 图2

  • 上传文件

上传文件：点击”上传文件”按钮进行上传，将文件拖拽到上传区域，文件名会自动以上传的文件名称补全

3. 资源中心 - 图3

  • 文件查看

对可查看的文件类型，点击文件名称，可查看文件详情

3. 资源中心 - 图4

  • 下载文件

点击文件列表的”下载”按钮下载文件或者在文件详情中点击右上角”下载”按钮下载文件

  • 文件重命名

3. 资源中心 - 图5

  • 删除

文件列表->点击”删除”按钮，删除指定文件

3.3 UDF管理

3.3.1 资源管理

资源管理和文件管理功能类似，不同之处是资源管理是上传的UDF函数，文件管理上传的是用户程序，脚本及配置文件 操作功能：重命名、下载、删除。

  • 上传udf资源

和上传文件相同。

3.3.2 函数管理

  • 创建udf函数

点击“创建UDF函数”，输入udf函数参数，选择udf资源，点击“提交”，创建udf函数。

目前只支持HIVE的临时UDF函数

  • UDF函数名称：输入UDF函数时的名称
  • 包名类名：输入UDF函数的全路径
  • UDF资源：设置创建的UDF对应的资源文件

3. 资源中心 - 图6