管理后台

概要设计

  1.     1、创建、发送、停止同步任务;
  2.     2、创建、抓取同步工作节点;
  3.     3、抓取、整合节点统计数据与实时数据并做页面展示;
  4.     4、抓取、整合任务统计数据与实施数据并做页面展示;
  5.     5、抓取告警日志并做页面展示;
  6.     6、收集、整合数据推送到中间件。

名词须知

  1.     数据源:数据存储位置，现启用kafka、jdbc、canal三种类型;
  2.     数据表组:关系数据库下多个来源表、目标表组合;
  3.     节点:node.jar程序，如分发节点的意思是，任务只能在固定节点运行;
  4.     告警通知人:任务或者节点发生异常，需要人工介入时，告警邮件接收者;
  5.     来源数据:需要同步的数据;
  6.     消费插件、消费转换插件、同步数据来源:数据同步过程中用到的中间件或者工具，Canal适用于mysql,ogg、kafak适用于oracle;
  7.     目标数据:同步的数据最终目标位置;
  8.     载入插件:影响sql的拼装方式;
  9.     元数据表组、目标数据表组：元数据表组的数据同步到目标数据表组;
  10.     映射关系:表与表、表字段与表字段的对应关系,现在只支持最小维度的关系映射。

前置事项

  1.     数据源配置:
  2.             数据源类型:jdbc
  3.                 数据源类型:mysql or oracle
  4.                 url:jdbc:mysql://0.0.0.0:3306/xxx?useUnicode=true&characterEncoding=utf8 【mysql必须带格式后缀,不然会出现乱码！】
  5.                 用户名:root
  6.                 密码:123456
  7.             数据源类型:kafka
  8.                 服务器列表:0.0.0.0:9092,0.0.0.1:9092【多个,隔开】
  9.                 主题:test【多个,隔开】
  10.                 查询超时时间:5000【ms】
  11.                 单次查询数量:1000【影响读取速度】
  12.             数据源类型:canal 【canal对应源数据mysql情况】
  13.                 地址:0.0.0.0:3306【数据库地址】
  14.                 数据库:atest【database名称】
  15.                 用户:root
  16.                 密码:123455
  17.                 过滤器:atest\.(a1|a2|a3|a4)  【过滤器格式遵循正则规则,不填会影响数据读取范围！】
  18.     数据表配置:
  19.             (略)
  20.     节点管理:
  21.             (略)

任务管理

  1.     (略)

数据监控

  1.     运行日志:
  2.             (略)
  3.     任务监控:
  4.             (略)
  5.     节点监控:
  6.             (略)

开发支持

  1.     标注略的章节:
  2.         建议登陆测试环境进行手动操作,地址:http://127.0.0.1:8888 账户:admin 密码:admin
  3.     技术支持：
  4.         研发中心架构部技术创新组。