安装部署

配置flink运行环境

当前inlong-sort是基于flink的一个应用，因此运行inlong-sort应用前，需要准备好flink 环境。

由于当前inlong-sort依赖的是flink1.9.3版本，因此在下载部署包时，请选择flink-1.9.3-bin-scala_2.11.tgz

flink环境配置完成后，可以通过浏览器访问flink的web ui，对应的地址是/{flink部署路径}/conf/masters文件中的地址

准备安装文件

安装文件在inlong-sort目录。

启动inlong-sort应用

有了上述编译阶段产出的jar包后，就可以启动inlong-sort的应用了。提交方式可以参考如何提交flink作业。

示例：

./bin/flink run -c org.apache.inlong.sort.flink.Entrance inlong-sort/sort-core-[version].jar \
--cluster-id inlong_app --zookeeper.quorum 127.0.0.1:2181 --zookeeper.path.root /inlong_sort \
--source.type tubemq --sink.type hive

注意：

• -c org.apache.inlong.sort.flink.Entrance 表示main class name

• inlong-sort/sort-core-[version].jar 为编译阶段产出的jar包

必要的配置

• --cluster-id 用来唯一标识一个inlong-sort作业，同inlong-manager中sort.appName配置一致
• --zookeeper.quorum zk quorum，同inlong-manager中cluster.zk.url配置一致
• --zookeeper.path.root zk根目录，同inlong-manager中cluster.zk.root配置一致
• --source.type 数据源的种类, 当前支持：”tubemq”、”pulsar”
• --sink.type 存储系统的种类，当前支持：”clickhouse”、”hive”

配置示例

--cluster-id inlong_app --zookeeper.quorum 192.127.0.1:2181 \
--zookeeper.path.root /inlong_sort --source.type tubemq --sink.type hive

所有支持的配置