nifi-iotdb-bundle

Apache NiFi简介

Apache NiFi 是一个易用的、功能强大的、可靠的数据处理和分发系统。

Apache NiFi 支持强大的、可伸缩的数据路由、转换和系统中介逻辑的有向图。

Apache NiFi 包含以下功能：

• 基于浏览器的用户接口：
  • 设计、控制、反馈和监控的无缝体验
• 数据起源跟踪
  • 从头到尾完整的信息族谱
• 丰富的配置
  • 丢失容忍和保证交付
  • 低延迟和高吞吐
  • 动态优先级策略
  • 运行时可以修改流配置
  • 反向压力控制
• 扩展设计
  • 用于定制 processors 和 services 的组件体系结构
  • 快速开发和迭代测试
• 安全会话
  • 带有可配置认证策略的 HTTPS 协议
  • 多租户授权和策略管理
  • 包括TLS和SSH的加密通信的标准协议

PutIoTDBRecord

这是一个用于数据写入的处理器。它使用配置的 Record Reader 将传入 FlowFile 的内容读取为单独的记录，并使用本机接口将它们写入 Apache IoTDB。

PutIoTDBRecord的配置项

Flowfile 的推断数据类型

如果要使用推断类型，需要注意以下几点：

1. 输入的 flowfile 需要能被 Record Reader 读取。
2. flowfile的 schema 中必须包含以时间字段名属性命名的字段
3. Time的数据类型只能是 STRING 或者 LONG 。
4. 除Time 以外的列必须以 root. 开头。
5. 支持的数据类型有： INT，LONG， FLOAT， DOUBLE， BOOLEAN， TEXT。

通过配置项自定义 schema

如上所述，通过配置项来自定义 schema 比起推断的 schema来说，是一种更加灵活和强大的方式。

Schema 配置项的解构如下:

{
   "fields": [{
      "tsName": "s1",
      "dataType": "INT32",
      "encoding": "RLE",
      "compressionType": "GZIP"
   }, {
      "tsName": "s2",
      "dataType": "INT64",
      "encoding": "RLE",
      "compressionType": "GZIP"
   }]
}

注意

1. flowfile 的第一列数据必须为 Time。剩下的必须与 fields 配置中保持一样的顺序。
2. 定义 shema 的 JSON 中必须包含 timeType and fields 这两项。
3. timeType 只支持 LONG 和 STRING 这两个选项。
4. tsName 和 dataType 这两项必须被设置。
5. 当数据插入IoTDB时，Prefix属性会被添加到 tsName以作为插入的字段名。
6. 支持的 dataTypes 有：INT32， INT64， FLOAT， DOUBLE， BOOLEAN， TEXT。
7. 支持的 encoding 有： PLAIN， DICTIONARY， RLE， DIFF， TS_2DIFF， BITMAP， GORILLA_V1， REGULAR， GORILLA，ZIGZAG，CHIMP， SPRINTZ， RLBE。
8. 支持的 compressionType 有： UNCOMPRESSED， SNAPPY， GZIP， LZO， SDT， PAA， PLA， LZ4， ZSTD， LZMA2。

Relationships

QueryIoTDBRecord

这是一个用于数据读取的处理器。它通过读取 FlowFile 的内容中的SQL 查询来对IoTDB的原生接口进行访问，并将查询结果用Record Writer写入 flowfile。

QueryIoTDBRecord的配置项

Relationships