阿里云 DLF

阿里云 Data Lake Formation(DLF) 是阿里云上的统一元数据管理服务。兼容 Hive Metastore 协议。

什么是 Data Lake Formation

因此我们也可以和访问 Hive Metastore 一样，连接并访问 DLF。

连接 DLF

方式一：创建Hive Catalog连接DLF

  1. CREATE CATALOG hive_with_dlf PROPERTIES (
  2.    "type"="hms",
  3.    "dlf.catalog.proxyMode" = "DLF_ONLY",
  4.    "hive.metastore.type" = "dlf",
  5.    "dlf.catalog.endpoint" = "dlf.cn-beijing.aliyuncs.com",
  6.    "dlf.catalog.region" = "cn-beijing",
  7.    "dlf.catalog.uid" = "uid",
  8.    "dlf.catalog.accessKeyId" = "ak",
  9.    "dlf.catalog.accessKeySecret" = "sk"
  10. );

其中 type 固定为 hms。 如果需要公网访问阿里云对象存储的数据，可以设置 "dlf.catalog.accessPublic"="true"

其他配置项为固定值，无需改动。

之后，可以像正常的 Hive MetaStore 一样，访问 DLF 下的元数据。

同 Hive Catalog 一样，支持访问 DLF 中的 Hive/Iceberg/Hudi 的元数据信息。

方式二：配置Hive Conf连接DLF

  1. 创建 hive-site.xml 文件，并将其放置在 fe/conf 目录下。

    1. <?xml version="1.0"?>
    2. <configuration>
    3.     <!--Set to use dlf client-->
    4.     <property>
    5.         <name>hive.metastore.type</name>
    6.         <value>dlf</value>
    7.     </property>
    8.     <property>
    9.         <name>dlf.catalog.endpoint</name>
    10.         <value>dlf-vpc.cn-beijing.aliyuncs.com</value>
    11.     </property>
    12.     <property>
    13.         <name>dlf.catalog.region</name>
    14.         <value>cn-beijing</value>
    15.     </property>
    16.     <property>
    17.         <name>dlf.catalog.proxyMode</name>
    18.         <value>DLF_ONLY</value>
    19.     </property>
    20.     <property>
    21.         <name>dlf.catalog.uid</name>
    22.         <value>20000000000000000</value>
    23.     </property>
    24.     <property>
    25.         <name>dlf.catalog.accessKeyId</name>
    26.         <value>XXXXXXXXXXXXXXX</value>
    27.     </property>
    28.     <property>
    29.         <name>dlf.catalog.accessKeySecret</name>
    30.         <value>XXXXXXXXXXXXXXXXX</value>
    31.     </property>
    32. </configuration>

  2. 重启 FE，Doris 会读取和解析 fe/conf/hive-site.xml。 并通过 CREATE CATALOG 语句创建 catalog。

  1. CREATE CATALOG hive_with_dlf PROPERTIES (
  2.    "type"="hms",
  3.     "hive.metastore.uris" = "thrift://127.0.0.1:9083"
  4. )

其中 type 固定为 hms。hive.metastore.uris 的值随意填写即可，实际不会使用。但需要按照标准 hive metastore thrift uri 格式填写。