TubeMQ
概述
Apache InLong TubeMQ 是一个分布式、开源的 pub-sub 消息传递和流平台, 适合于万亿规模数据。
版本
Load 节点 | 版本 |
---|---|
TubeMQ | TubeMQ: >=0.1.0 |
依赖项
为了设置 TubeMQ load 节点,下面提供了使用构建自动化工具(例如 Maven 或 SBT)和带有 Sort Connectors JAR 包的 SQL 客户端的两个项目的依赖关系信息。
Maven 依赖
<dependency>
<groupId>org.apache.inlong</groupId>
<artifactId>sort-connector-tubemq</artifactId>
<version>2.1.0-SNAPSHOT</version>
</dependency>
如何创建 TubeMQ Load 节点
SQL API 的使用
使用 Flink SQL Cli
:
-- Create a TubeMQ table 'tube_load_node' in Flink SQL Cli
Flink SQL>
CREATE TABLE tube_load_node
(
id INT,
name STRING,
age INT,
salary FLOAT
) WITH (
'connector' = 'tubemq',
'topic' = 'topicName',
'master.rpc' = 'rpcUrl', -- 127.0.0.1:8715
'format' = 'json',
'group.name' = 'groupName');
-- Read data from tube_load_node
Flink SQL>
SELECT *
FROM tube_load_node;
InLong Dashboard 方式
TODO
InLong Manager Client 方式
TODO
TubeMQ Load 节点参数信息
参数 | 是否必须 | 默认值 | 数据类型 | 描述 |
---|---|---|---|---|
connector | required | tubemq | String | 设置连接器类型 tubemq |
topic | required | (none) | String | 设置 Load 的 topic |
masterRpc | required | (none) | String | 设置 TubeMQ master service 地址 |
format | required | (none) | String | TubeMQ 数据类型, 支持 JSON, Avro, etc. For more information, see the Flink format. |
groupId | required | (none) | String | TubeMQ 消费组 |