配置flink运行环境

当前inlong-sort是基于flink的一个应用，因此运行inlong-sort应用前，需要准备好flink环境。

如何配置flink环境

由于当前inlong-sort依赖的是flink1.9.3版本，因此在下载部署包时，请选择flink-1.9.3-bin-scala_2.11.tgz

flink环境配置完成后，可以通过浏览器访问flink的web ui，对应的地址是/{flink部署路径}/conf/masters文件中的地址

准备安装文件

安装文件在inlong-sort目录。

启动inlong-sort应用

有了上述编译阶段产出的jar包后，就可以启动inlong-sort的应用了。

如何提交flink作业

示例：

• ./bin/flink run -c org.apache.inlong.sort.flink.Entrance inlong-sort-core-1.0-SNAPSHOT.jar --cluster-id my_application --zookeeper.quorum 127.0.0.1:2181 --zookeeper.path.root /inlong-sort --source.type tubemq --sink.type hive

注意：

• -c org.apache.inlong.sort.flink.Entrance 表示main class name

• inlong-sort-core-1.0-SNAPSHOT.jar 为编译阶段产出的jar包

必要的配置

• --cluster-id 用来唯一标识一个inlong-sort作业
• --zookeeper.quorum zk quorum
• --zookeeper.path.root zk根目录
• --source.type 数据源的种类, 当前支持：”tubemq”、”pulsar”
• --sink.type 存储系统的种类，当前支持：”clickhouse”、”hive”

配置示例

--cluster-id my_application --zookeeper.quorum 192.127.0.1:2181 --zookeeper.path.root /zk_root --source.type tubemq --sink.type hive

所有支持的配置