背景 调度模型 Nagle算法 滑动窗口 并行度 数据可靠性 编程模型抽象(SEDA模型) 仲裁器算法 调度算法成本估算 数据传输 背景 在介绍调度模型之前，首先了解一下otter系统要解决的异地机房的网络环境. 中美网络延迟 (平均200ms) 中美传输速度 (2~6MB/s)网络因素是一个很重要的问题， a. 比如...

扩展性定义 数据处理自定义 扩展代码开发 1. 自定义维护 2. 基于otter.extend工程维护 扩展示例代码： 组件功能性扩展 扩展性定义 按照实现不同，可分为两类： 数据处理自定义，比如Extract , Transform的数据处理. 目前Select/Load不支持数据自定义处理 组件功能性扩展，比如支持oracle日志...

基本需求 实现思路 实现示意图 基本需求 支持mysql/oracle的异构数据库的双向回环，早期有变态需求：杭州是mysql，美国是oracle，需要做双向同步。 需要支持级联同步，比如A<->B->C，A同步到B的数据，不能从B回到A，但需要同步到C 实现思路 利用事务机制，在事务头和尾中插入otter同步标识 解析时识别同步标识，...

核心算法介绍 数据合并 数据入库算法 初步性能指标： 核心算法介绍 实际测试中，otter的同步速度相比于mysql的复制，约有5倍左右的性能提升，这取决于其同步算法的实现. 抛弃了强一致性，得到了性能提升 数据合并 1. insert + insert -> insert (数据迁移+数据增量场景) 2. insert ...

基本需求 实现思路 1. 考虑node和manager独立部署 2. 建议异常流程处理机制 3. node节点监控原理：(和hadoop/hbase原理基本一致，利用zookeeper) 4. 数据库切换 基本需求 网络不可靠，异地机房尤为明显. manager/node的jvm不可靠，需要考虑异常crash情况 node的jvm不可靠...

技术选型分析 事前控制 事后处理 单向回环补救 (基于trusted source的改进版) 时间交集补救 技术选型分析 需要处理一致性的业务场景： 多地修改 (双A机房) 同一记录，同时变更同一记录定义：具体到某一张表，某一条pk，某一字段 同时变更定义：A地写入的数据在B地还未可见的一段时间范围 基本思路 事前控制：比如pao...

环境准备 启动步骤 环境准备 otter manager依赖于mysql进行配置信息的存储，所以需要预先安装mysql，并初始化otter manager的系统表结构 a. 安装mysql，这里不展开，网上一搜一大把 b. 初始化otter manager系统表：下载： wget https : //raw.github.com/a...

1. Otter源代码解析系列 2. 安装otter过程记录，供未接触java/mvn开发的运维人员使用 3. 提供的Windows安装过程 4. otter基本配置配置图片演示 5. otter配置详解 6. zookeeper 集群安装 7. canal部署说明 8. otter docker镜像 otter产品测试贡献 (非常感谢各位)...

环境准备 启动步骤 环境准备 otter node会受otter manager进行管理，所以需要预先安装otter manager，参见：Otter Manager Quickstart. 完成manager安装后，需要在manager页面为node定义配置信息，并生一个唯一id. a. 首先访问manager页面的机器管理页面，点...

ClientSample 直接使用canal.example工程 a. 首先启动Canal Server，可参见[[QuickStart]] b. 可以在eclipse里，直接打开com.alibaba.otter.canal.example.SimpleCanalClientTest，直接运行 在工程的example目录下...