总览
简介
Load 节点列表是一组基于 Apache Flink® 的 Sink Connectors 用于将数据加载到不同的存储系统。
支持的 Load 节点列表
Load 节点 | 版本 | 驱动包 |
---|---|---|
Kafka | Kafka: 0.10+ | None |
HBase | Hbase: 2.2.x | None |
PostgreSQL | PostgreSQL: 9.6, 10, 11, 12 | JDBC Driver: 42.2.12 |
Oracle | Oracle: 11, 12, 19 | Oracle Driver: 19.3.0.0 |
MySQL | MySQL: 5.6, 5.7, 8.0.x RDS MySQL: 5.6, 5.7, 8.0.x PolarDB MySQL: 5.6, 5.7, 8.0.x Aurora MySQL: 5.6, 5.7, 8.0.x MariaDB: 10.x PolarDB X: 2.0.1 | JDBC Driver: 8.0.21 |
TDSQL-PostgreSQL | TDSQL-PostgreSQL: 10.17 | JDBC Driver: 42.2.12 |
Greenplum | Greenplum: 4.x, 5.x, 6.x | JDBC Driver: 42.2.12 |
Elasticsearch | Elasticsearch: 6.x, 7.x | None |
ClickHouse | ClickHouse: 20.7+ | JDBC Driver: 0.3.1 |
Hive | Hive: 1.x, 2.x, 3.x | None |
SQLServer | SQLServer: 2012, 2014, 2016, 2017, 2019 | JDBC Driver: 7.2.2.jre8 |
HDFS | HDFS: 2.x, 3.x | None |
Iceberg | Iceberg: 0.13.1+ | None |
支持的 Flink 版本列表
下表展示了 InLong® Load 节点 和 Flink® 版本之间的对应关系。
InLong® Load 节点版本 | Flink® 版本 |
---|---|
1.2.0 | 1.13.5 |
SQL API 的用法
我们需要几个步骤来使用提供的连接器设置 Flink 集群。
- 设置一个安装了 1.13.5 版本和 Java 8+ 的 Flink 集群。
- 从 下载 页面下载并解压 Sort Connectors jars (或者参考 如何编译 编译需要的版本)。
- 将下载并解压后的 Sort Connectors jars 放到
FLINK_HOME/lib/
。 - 重启 Flink 集群。
下面例子展示了如何在 Flink SQL Client 创建一个 MySQL Load 节点并加载数据进去:
-- 创建一个 MySQL Extract 节点
CREATE TABLE mysql_extract_node (
id INT NOT NULL,
name STRING,
age INT,
weight DECIMAL(10,3),
PRIMARY KEY(id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc-inlong',
'hostname' = 'YourHostname',
'port' = '3306',
'username' = 'YourUsername',
'password' = 'YourPassword',
'database-name' = 'YourDatabaseName',
'table-name' = 'YourTableName'
);
-- 创建一个 MySQL Load 节点
CREATE TABLE mysql_load_node (
id INT NOT NULL,
name STRING,
age INT,
weight DECIMAL(10,3),
PRIMARY KEY(id) NOT ENFORCED
) WITH (
'connector' = 'jdbc-inlong',
'url' = 'jdbc:mysql://YourHostname:3306/YourDatabaseName',
'username' = 'YourUsername',
'password' = 'YourPassword',
'table-name' = 'YourTableName'
);
INSERT INTO mysql_load_node SELECT id, name, age, weight FROM mysql_extract_node;