openLooKeng

本文主要介绍在 Linkis 中，openLooKeng 引擎插件的安装、使用和配置。

如果您希望部署使用 openLooKeng 引擎，您需要准备一套可用的 openLooKeng 环境。

  1. # 准备 hetu-cli
  2. wget https://download.openlookeng.io/1.5.0/hetu-cli-1.5.0-executable.jar
  3. mv hetu-cli-1.5.0-executable.jar hetu-cli
  4. chmod +x hetu-cli
  6. #  链接服务
  7. ./hetu-cli --server 127.0.0.1:9090 --catalog tpcds --schema default
  9. # 执行查询语句
  10. lk:default> select d_date_sk, d_date_id, d_date, d_month_seq from tpcds.sf1.date_dim order by d_date limit 5;
  12. # 得到如下输出代表服务可用
  13.  d_date_sk |    d_date_id     |   d_date   | d_month_seq
  14. -----------+------------------+------------+-------------
  15.    2415022 | AAAAAAAAOKJNECAA | 1900-01-02 |           0
  16.    2415023 | AAAAAAAAPKJNECAA | 1900-01-03 |           0
  17.    2415024 | AAAAAAAAALJNECAA | 1900-01-04 |           0
  18.    2415025 | AAAAAAAABLJNECAA | 1900-01-05 |           0
  19.    2415026 | AAAAAAAACLJNECAA | 1900-01-06 |           0
  20. (5 rows)
  22. Query 20221110_043803_00011_m9gmv, FINISHED, 1 node
  23. Splits: 33 total, 33 done (100.00%)
  24. 0:00 [73K rows, 0B] [86.8K rows/s, 0B/s]

方式一：直接下载引擎插件包

Linkis 引擎插件下载

方式二：单独编译引擎插件（需要有 maven 环境）

  1. # 编译
  2. ${linkis_code_dir}/linkis-enginepconn-pugins/engineconn-plugins/openlookeng/
  3. mvn clean install
  4. # 编译出来的引擎插件包，位于如下目录中
  5. ${linkis_code_dir}/linkis-engineconn-plugins/openlookeng/target/out/

EngineConnPlugin 引擎插件安装

将 2.1 中的引擎插件包上传到服务器的引擎目录下

  1. ${LINKIS_HOME}/lib/linkis-engineconn-plugins

上传后目录结构如下所示

  1. linkis-engineconn-plugins/
  2. ├── openlookeng
  3. │   ├── dist
  4. │   │   └── 1.5.0
  5. │   │       ├── conf
  6. │   │       └── lib
  7. │   └── plugin
  8. │       └── 1.5.0

通过重启 linkis-cg-linkismanager 服务刷新引擎

  1. cd ${LINKIS_HOME}/sbin
  2. sh linkis-daemon.sh restart cg-linkismanager

可以查看数据库中的 linkis_engine_conn_plugin_bml_resources 这张表的 last_update_time 是否为触发刷新的时间。

  1. #登陆到 `linkis` 的数据库 
  2. select * from linkis_cg_engine_conn_plugin_bml_resources;
  1. sh ./bin/linkis-cli -engineType openlookeng-1.5.0 \
  2. -codeType sql -code 'select * from tpcds.sf1.date_dim;' \
  3. -submitUser hadoop -proxyUser hadoop \
  4. -runtimeMap linkis.openlookeng.url=http://127.0.0.1:8080

更多 Linkis-Cli 命令参数参考： Linkis-Cli 使用

Linkis 提供了 Java 和 Scala 的 SDK 向 Linkis 服务端提交任务。具体可以参考 JAVA SDK Manual。对于 JDBC 任务您只需要修改 Demo 中的 EngineConnType 和 CodeType 参数即可:

  1. Map<String, Object> labels = new HashMap<String, Object>();
  2. labels.put(LabelKeyConstant.ENGINE_TYPE_KEY, "openlookeng-1.5.0"); // required engineType Label
  3. labels.put(LabelKeyConstant.USER_CREATOR_TYPE_KEY, "hadoop-IDE");// required execute user and creator
  4. labels.put(LabelKeyConstant.CODE_TYPE_KEY, "sql"); // required codeType
配置默认值是否必须说明
linkis.openlookeng.urlhttp://127.0.0.1:8080是链接地址
linkis.openlookeng.catalogsystem是catalog
linkis.openlookeng.sourceglobal否source

如果默认参数不满足时，有如下几中方式可以进行一些基础参数配置

openLooKeng - 图1

注意: 修改 IDE 标签下的配置后需要指定 -creator IDE 才会生效（其它标签类似），如：

  1. sh ./bin/linkis-cli -creator IDE \
  2. -engineType openlookeng-1.5.0 -codeType sql \
  3. -code 'select * from tpcds.sf1.date_dim;' \
  4. -submitUser hadoop -proxyUser hadoop

提交任务接口，通过参数 params.configuration.runtime 进行配置

  1. http 请求参数示例 
  2. {
  3.     "executionContent": {"code": "select * from tpcds.sf1.date_dim;", "runType":  "sql"},
  4.     "params": {
  5.                     "variable": {},
  6.                     "configuration": {
  7.                             "runtime": {
  8.                                 "linkis.openlookeng.url":"http://127.0.0.1:9090"
  9.                                 }
  10.                             }
  11.                     },
  12.     "labels": {
  13.         "engineType": "openlookeng-1.5.0",
  14.         "userCreator": "hadoop-IDE"
  15.     }
  16. }

Linkis 是通过引擎标签来进行管理的，所涉及的数据表信息如下所示。

  1. linkis_ps_configuration_config_key:  插入引擎的配置参数的key和默认values
  2. linkis_cg_manager_label：插入引擎label如：openlookeng-1.5.0
  3. linkis_ps_configuration_category： 插入引擎的目录关联关系
  4. linkis_ps_configuration_config_value： 插入引擎需要展示的配置
  5. linkis_ps_configuration_key_engine_relation:配置项和引擎的关联关系

表中与引擎相关的初始数据如下

  1. -- set variable
  2. SET @OPENLOOKENG_LABEL="openlookeng-1.5.0";
  3. SET @OPENLOOKENG_ALL=CONCAT('*-*,',@OPENLOOKENG_LABEL);
  4. SET @OPENLOOKENG_IDE=CONCAT('*-IDE,',@OPENLOOKENG_LABEL);
  6. -- engine label
  7. insert into `linkis_cg_manager_label` (`label_key`, `label_value`, `label_feature`, `label_value_size`, `update_time`, `create_time`) VALUES ('combined_userCreator_engineType', @OPENLOOKENG_ALL, 'OPTIONAL', 2, now(), now());
  8. insert into `linkis_cg_manager_label` (`label_key`, `label_value`, `label_feature`, `label_value_size`, `update_time`, `create_time`) VALUES ('combined_userCreator_engineType', @OPENLOOKENG_IDE, 'OPTIONAL', 2, now(), now());
  10. select @label_id := id from linkis_cg_manager_label where `label_value` = @OPENLOOKENG_IDE;
  11. insert into linkis_ps_configuration_category (`label_id`, `level`) VALUES (@label_id, 2);
  13. -- configuration key
  14. INSERT INTO `linkis_ps_configuration_config_key` (`key`, `description`, `name`, `default_value`, `validate_type`, `validate_range`, `engine_conn_type`, `is_hidden`, `is_advanced`, `level`, `treeName`) VALUES ('linkis.openlookeng.url', '例如:http://127.0.0.1:8080', '连接地址', 'http://127.0.0.1:8080', 'Regex', '^\\s*http://([^:]+)(:\\d+)(/[^\\?]+)?(\\?\\S*)?$', 'openlookeng', 0, 0, 1, '数据源配置');
  15. INSERT INTO `linkis_ps_configuration_config_key` (`key`, `description`, `name`, `default_value`, `validate_type`, `validate_range`, `engine_conn_type`, `is_hidden`, `is_advanced`, `level`, `treeName`) VALUES ('linkis.openlookeng.catalog', 'catalog', 'catalog', 'system', 'None', '', 'openlookeng', 0, 0, 1, '数据源配置');
  16. INSERT INTO `linkis_ps_configuration_config_key` (`key`, `description`, `name`, `default_value`, `validate_type`, `validate_range`, `engine_conn_type`, `is_hidden`, `is_advanced`, `level`, `treeName`) VALUES ('linkis.openlookeng.source', 'source', 'source', 'global', 'None', '', 'openlookeng', 0, 0, 1, '数据源配置');
  18. -- key engine relation
  19. insert into `linkis_ps_configuration_key_engine_relation` (`config_key_id`, `engine_type_label_id`)
  20. (select config.id as `config_key_id`, label.id AS `engine_type_label_id` FROM linkis_ps_configuration_config_key config
  21. INNER JOIN linkis_cg_manager_label label ON config.engine_conn_type = 'openlookeng' and label_value = @OPENLOOKENG_ALL);
  23. -- openlookeng default configuration
  24. insert into `linkis_ps_configuration_config_value` (`config_key_id`, `config_value`, `config_label_id`)
  25. (select `relation`.`config_key_id` AS `config_key_id`, '' AS `config_value`, `relation`.`engine_type_label_id` AS `config_label_id` FROM linkis_ps_configuration_key_engine_relation relation
  26. INNER JOIN linkis_cg_manager_label label ON relation.engine_type_label_id = label.id AND label.label_value = @OPENLOOKENG_ALL);