COS Filesystem

这个页面描述了如何让你的Hudi spark任务使用Tencent Cloud COS存储。

Tencent Cloud COS 部署

为了让Hudi使用COS，需要增加两部分的配置:

  • 为Hidi增加Tencent Cloud COS的相关配置
  • 增加Jar包的MVN依赖

Tencent Cloud COS 相关的配置

新增下面的配置到你的Hudi能访问的core-site.xml文件。使用你的COS bucket name替换掉fs.defaultFS，使用COS的key和secret分别替换fs.cosn.userinfo.secretKey和fs.cosn.userinfo.secretId。主要Hudi就能读写相应的bucket。

  1.     <property>
  2.         <name>fs.defaultFS</name>
  3.         <value>cosn://bucketname</value>
  4.         <description>COS bucket name</description>
  5.     </property>
  7.     <property>
  8.         <name>fs.cosn.userinfo.secretId</name>
  9.         <value>cos-secretId</value>
  10.         <description>Tencent Cloud Secret Id</description>
  11.     </property>
  13.     <property>
  14.         <name>fs.cosn.userinfo.secretKey</name>
  15.         <value>cos-secretkey</value>
  16.         <description>Tencent Cloud Secret Key</description>
  17.     </property>
  19.     <property>
  20.         <name>fs.cosn.bucket.region</name>
  21.         <value>ap-region</value>
  22.         <description>The region where the bucket is located.</description>
  23.     </property>
  25.     <property>
  26.         <name>fs.cosn.bucket.endpoint_suffix</name>
  27.         <value>cos.endpoint.suffix</value>
  28.         <description>
  29.           COS endpoint to connect to.
  30.           For public cloud users, it is recommended not to set this option, and only the correct area field is required.
  31.         </description>
  32.     </property>
  34.     <property>
  35.         <name>fs.cosn.impl</name>
  36.         <value>org.apache.hadoop.fs.CosFileSystem</value>
  37.         <description>The implementation class of the CosN Filesystem.</description>
  38.     </property>
  40.     <property>
  41.         <name>fs.AbstractFileSystem.cosn.impl</name>
  42.         <value>org.apache.hadoop.fs.CosN</value>
  43.         <description>The implementation class of the CosN AbstractFileSystem.</description>
  44.     </property>

Tencent Cloud COS Libs

添加COS依赖jar包到classpath

  • org.apache.hadoop:hadoop-cos:2.8.5