后端部署

数据库操作

库

请登录 MySQL 数据库，创建名为 taier 数据库

表数据

版本升级

低版本升级到高版本 执行高版本目录下的increment.sql

如: 1.0升级到1.1 执行sql/1.1/1.1_increment.sql

初次部署

直接执行sql下的init.sql创建新库

项目编译

编译脚本

  • bin: 启动脚本均放在该目录下，该目录下有两个文件sh
  1. |-- bin 
  2. |---- base.sh     //jvm相关参数设置脚本
  3. |---- taier.sh    //启动脚本
tip

启动脚本里面java_home、heap_size可以通过实际环境来动态调整

  • build: 项目编译脚本,根据不同场景来编译项目
  1. |-- build
  2. |---- mvn-build.sh           //编译项目及任务提交脚本
  3. |---- mvn-build-datadevelop  //编译项目脚本 : Taier后端data-develop启动jar
  4. |---- mvn-build-plugins.sh   //编译插件脚本 : Taier任务提交pluginLibs插件jar
caution

Taier 页面功能依赖data-develop.jar 任务提交依赖pluginsLibs相关jar
通过脚本编译项目后会生成对应的taier-data-develop-with-dependencies.jar和pluginLibs源码文件，在项目目录下我们可以检查编译的结果

配置文件

配置文件目录

  1. |-- conf 
  2. |---- application.properties  //配置文件
  3. |---- logback.xml             //日志配置

conf/application.properties配置

完整的application.properties应该如下

  1. nodeZkAddress=127.0.0.1:2181/taier
  2. jdbc.driverClassName=com.mysql.jdbc.Driver
  3. jdbc.url=jdbc:mysql://127.0.0.1:3306/taier?charset=utf8&autoReconnect=true&tinyInt1isBit=false&serverTimezone=Asia/Shanghai
  4. jdbc.username=
  5. jdbc.password=
  7. server.tomcat.uri-encoding = UTF-8
  8. server.port = 8090
  9. server.tomcat.basedir = ./tmpSave
  10. datasource.plugin.path=/opt/dtstack/DTCommon/InsightPlugin/dataSourcePlugin
caution

需要依赖DatasourceX 去获取数据源表、字段信息
可以直接下载datasourceX源码 解压之后在配置文件中配置datasource.plugin.path即可
jdbc需要指定charset=utf8 否则在对接完集群之后，获取开发目录可能会乱码

启动/停止

项目结构

完整的项目结构如下

  1. ├── bin
  2. │   ├── base.sh
  3. │   ├── taier.sh
  4. ├── conf
  5. │   ├── application.properties
  6. │   ├── java.policy
  7. │   └── logback.xml
  8. ├── flinkconf
  9. │   ├── debug
  10. │   ├── error
  11. │   ├── fatal
  12. │   ├── info
  13. │   ├── info-tmp
  14. │   ├── log4j2
  15. │   └── warn
  16. ├── lib
  17. │   └── taier-data-develop-with-dependencies.jar
  18. ├── logs
  19. │   ├── taier_flink_monitor.log
  20. │   ├── taier.log
  21. │   ├── taier_request.log
  22. │   ├── taier_schedule.log
  23. │   └── taier_zk.log
  24. ├── pluginLibs
  25. │   ├── dummy
  26. │   ├── flinkcommon
  27. │   ├── hdfs2
  28. │   ├── hdfs3
  29. │   ├── hive
  30. │   ├── hive2
  31. │   ├── hive3
  32. │   ├── yarn2
  33. │   ├── yarn2-hdfs2-flink112
  34. │   ├── yarn2-hdfs2-hadoop2
  35. │   ├── yarn2-hdfs2-spark210
  36. │   ├── yarn3
  37. │   ├── yarn3-hdfs3-flink112
  38. │   ├── yarn3-hdfs3-hadoop3
  39. │   └── yarn3-hdfs3-spark210
  40. ├── run
  41. │   └── rdos.pid

依赖组件正常

  • zookeeper
  • mysql

  • datasourcex

  • 启动:

  1. $ ./bin/taier.sh start
  • 停止:
  1. $ ./bin/taier.sh stop