EXPORT

description

  1. 该语句用于将指定表的数据导出到指定位置。
  2. 该功能通过 broker 进程实现。对于不同的目的存储系统，需要部署不同的 broker。可以通过 SHOW BROKER 查看已部署的 broker。
  3. 这是一个异步操作，任务提交成功则返回。执行后可使用 SHOW EXPORT 命令查看进度。
  5. 语法：
  6.     EXPORT TABLE table_name
  7.     [PARTITION (p1[,p2])]
  8.     [WHERE [expr]]
  9.     TO export_path
  10.     [opt_properties]
  11.     [broker|S3];
  13. 1. table_name
  14.   当前要导出的表的表名，目前支持engine为olap和mysql的表的导出。
  16. 2. partition
  17.   可以只导出指定表的某些指定分区
  19. 3. expr
  20.   导出满足 where 条件的行，选填。不填则默认导出所有行。
  22. 4. export_path
  23.   导出的路径，需为目录。支持导出到本地，hdfs，百度bos，s3协议的其他存储系统。
  25. 5. opt_properties
  26.   用于指定一些特殊参数。
  27.       语法：
  28.       [PROPERTIES ("key"="value", ...)]
  30.       可以指定如下参数：
  31.         label: 指定一个自定义作业标识。后续可以使用这个标识查看作业状态。
  32.         column_separator: 指定导出的列分隔符，默认为\t。支持不可见字符，比如 '\x07'。
  33.         column: 指定待导出的列，使用英文逗号隔开，如果不填这个参数默认是导出表的所有列。
  34.         line_delimiter: 指定导出的行分隔符，默认为\n。支持不可见字符，比如 '\x07'。
  35.         exec_mem_limit: 导出在单个 BE 节点的内存使用上限，默认为 2GB，单位为字节。
  36.         timeout：导入作业的超时时间，默认为1天，单位是秒。
  37.         tablet_num_per_task：每个子任务能分配的最大 Tablet 数量。
  39. 6. broker|s3
  40.   指定使用broker导出或者通过S3协议导出
  41.       语法：
  42.       WITH [BROKER broker_name | S3] ("key"="value"[,...])
  43.       这里需要指定具体的broker name, 以及所需的broker属性, 如果使用S3协议则无需指定broker name
  45.   对于不同存储系统对应的 broker，这里需要输入的参数不同。具体参数可以参阅：`help broker load` 中 broker 所需属性。
  46.   导出到本地时，不需要填写这部分。
  48. 7. hdfs
  49.   指定导出到hdfs
  50.       语法：
  51.       WITH HDFS ("key"="value"[,...])
  53.       可以指定如下参数：
  54.         fs.defaultFS: 指定HDFS的fs，格式为：hdfs://ip:port
  55.         hdfs_user：指定写入HDFS的user

example

  1. 1. 将 testTbl 表中的所有数据导出到 hdfs 上
  2.     EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  4. 2. 将 testTbl 表中的分区p1,p2导出到 hdfs 上
  5.     EXPORT TABLE testTbl PARTITION (p1,p2) TO "hdfs://hdfs_host:port/a/b/c" WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  7. 3. 将 testTbl 表中的所有数据导出到 hdfs 上，以","作为列分隔符，并指定label
  8.     EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("label" = "mylabel", "column_separator"=",") WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  10. 4. 将 testTbl 表中 k1 = 1 的行导出到 hdfs 上。
  11.     EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" WHERE k1=1 WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  13. 5. 将 testTbl 表中的所有数据导出到本地。
  14.     EXPORT TABLE testTbl TO "file:///home/data/a";
  16. 6. 将 testTbl 表中的所有数据导出到 hdfs 上，以不可见字符 "\x07" 作为列或者行分隔符。
  17.     EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("column_separator"="\\x07", "line_delimiter" = "\\x07") WITH BROKER "broker_name" ("username"="xxx", "password"="yyy")
  19. 7. 将 testTbl 表的 k1, v1 列导出到本地。
  20.     EXPORT TABLE testTbl TO "file:///home/data/a" PROPERTIES ("columns" = "k1,v1");
  22. 8. 将 testTbl 表中的所有数据导出到 hdfs 上，以不可见字符 "\x07" 作为列或者行分隔符。
  23.     EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("column_separator"="\\x07", "line_delimiter" = "\\x07") WITH HDFS ("fs.defaultFS"="hdfs://hdfs_host:port", "hdfs_user"="yyy")

keyword

  1. EXPORT