桥接数据到 Kafka

搭建 Kafka 环境，以 MacOS X 为例:

  1. wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz
  3. tar -xzf  kafka_2.13-2.8.0.tgz
  5. cd kafka_2.13-2.8.0
  7. # 启动 Zookeeper
  8. ./bin/zookeeper-server-start.sh config/zookeeper.properties
  9. # 启动 Kafka
  10. ./bin/kafka-server-start.sh config/server.properties

创建 Kafka ​ 的主题:

  1. $ ./bin/kafka-topics.sh --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic --create

提示

创建 Kafka Rule 之前必须先在 Kafka 中创建好主题，否则创建 Kafka Rule 失败。

创建规则:

打开 EMQX Dashboard桥接数据到 Kafka - 图1 (opens new window)，选择左侧的 “规则” 选项卡。

填写规则 SQL:

  1. SELECT * FROM "t/#"

image

关联动作:

在 “响应动作” 界面选择 “添加”，然后在 “动作” 下拉框里选择 “桥接数据到 Kafka”。

image

填写动作参数:

“保存数据到 Kafka 动作需要两个参数：

1). Kafka 的消息主题

2). 关联资源。现在资源下拉框为空，可以点击右上角的 “新建资源” 来创建一个 Kafka 资源:

image

选择 Kafka 资源”。

填写资源配置:

填写真实的 Kafka 服务器地址，多个地址用,分隔，其他配置保持默认值，然后点击 “测试连接” 按钮，确保连接测试成功。

最后点击 “新建” 按钮。

image

返回响应动作界面，点击 “确认”。

image

返回规则创建界面，点击 “新建”。
按照Kafka的业务数据，填写 Kafka 主题 Produce 类型 Produce 策略 Strategy Key 磁盘缓存， 其中，消息内容模板 字段，支持变量。若使用空模板（默认），消息内容为 JSON 格式的所有字段。

image

规则已经创建完成，现在发一条数据:

  1. Topic: "t/1"
  3. QoS: 0
  5. Payload: "hello"

然后通过 Kafka 命令去查看消息是否生产成功:

  1. $ ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092  --topic testTopic --from-beginning

image

在规则列表里，可以看到刚才创建的规则的命中次数已经增加了 1:

image