TubeMQ

概述

Apache InLong TubeMQ 是一个分布式、开源的 pub-sub 消息传递和流平台, 适合于万亿规模数据。

版本

Load 节点版本
TubeMQTubeMQ: >=0.1.0

依赖项

为了设置 TubeMQ load 节点,下面提供了使用构建自动化工具(例如 Maven 或 SBT)和带有 Sort Connectors JAR 包的 SQL 客户端的两个项目的依赖关系信息。

Maven 依赖

  1. <dependency>
  2. <groupId>org.apache.inlong</groupId>
  3. <artifactId>sort-connector-tubemq</artifactId>
  4. <version>2.1.0-SNAPSHOT</version>
  5. </dependency>

如何创建 TubeMQ Load 节点

SQL API 的使用

使用 Flink SQL Cli :

  1. -- Create a TubeMQ table 'tube_load_node' in Flink SQL Cli
  2. Flink SQL>
  3. CREATE TABLE tube_load_node
  4. (
  5. id INT,
  6. name STRING,
  7. age INT,
  8. salary FLOAT
  9. ) WITH (
  10. 'connector' = 'tubemq',
  11. 'topic' = 'topicName',
  12. 'master.rpc' = 'rpcUrl', -- 127.0.0.1:8715
  13. 'format' = 'json',
  14. 'group.name' = 'groupName');
  15. -- Read data from tube_load_node
  16. Flink SQL>
  17. SELECT *
  18. FROM tube_load_node;

InLong Dashboard 方式

TODO

InLong Manager Client 方式

TODO

TubeMQ Load 节点参数信息

参数是否必须默认值数据类型描述
connectorrequiredtubemqString设置连接器类型 tubemq
topicrequired(none)String设置 Load 的 topic
masterRpcrequired(none)String设置 TubeMQ master service 地址
formatrequired(none)StringTubeMQ 数据类型, 支持 JSON, Avro, etc. For more information, see the Flink format.
groupIdrequired(none)StringTubeMQ 消费组