共计 10485 个字符，预计需要花费 27 分钟才能阅读完成。
SyncTool · 数据库实时同步工具 在异构数据库之间实时同步结构与数据的开箱即用 Web 应用。单个 jar 启动，浏览器点几下即可让 Oracle 的表持续流向 PostgreSQL、让 MySQL 的增量实时落到达梦 —— 不需要 Kafka、不需要 ZooKeeper、不需要写一行代码。
技术栈：Spring Boot 2.7 单体架构 + Thymeleaf 服务端渲染 + Quartz 调度 + H2 内嵌元数据库。零外部依赖，内网离线可用。
效果截图 看板：全局同步态势一屏掌握 项目数、连接数、同步表数、24 小时变更量与最近活动流。
数据库连接：保存前先测通 选择数据库类型后自动生成 JDBC URL，可预览、可测试；非内置驱动填写 jar 路径即可动态加载。
项目列表：多任务并行，启停自如 每个项目一组「源库 → 目标库」，独立启动 / 暂停，状态与最近同步时间一目了然。
项目详情：逐表勾选与游标策略可视化 表 / 视图 / 存储过程分组勾选，支持搜索与批量操作；每张表的增量检测策略直接标注，IDENTITY 与 NONE 会显著提示（意味着更新可能同步不到）。
变更日志：每一次变更都可追溯 对象名、变更类型、影响行数、耗时与完整错误详情。
核心功能[td]
| 分类 | 能力 |
| 项目管理 | 配置源库 / 目标库，多项目并行互不干扰 |
| 连接测试 | 保存前即可验证连通性，支持预览自动拼装的 JDBC URL |
| 对象选择 | 表 / 视图 / 存储过程，默认全选，支持搜索与批量勾选 |
| 同步内容 | 表结构、表数据、索引、视图、存储过程与函数 |
| 自动建对象 | 目标库不存在时按目标方言自动创建 |
| SQL 方言适配 | 类型映射、函数名转换、标识符引号、分页语法、存储过程包装 |
| 实时同步 | 轮询检测（默认 2 秒），也可用 Cron 表达式精确编排 |
| 故障恢复 | 进程重启后从上次游标继续，停机期间的变更会被补齐 |
| 启停控制 | 随时启动 / 暂停，支持手动「立即同步」 |
| 变更记录 | 每次变更的对象、类型、行数、耗时与错误详情 |
| 看板 | 项目数、连接数、同步表数、24 小时变更量与最近活动 |
| 国际化 | 中 / 英文切换，默认语言按浏览器时区智能推断 |
| 主题 | 昼夜模式切换，未手动选择时跟随系统 |
| 全本地化前端 | 无 CDN、无 webfont、运行时零外部请求，内网离线可用 |
前端设计 蓝紫渐变主色（#4f46e5 → #ec4899）、柔和阴影、玻璃拟态导航栏。样式为手写 CSS + 设计令牌（CSS 变量），无框架、无构建步骤。
主题切换
- 主题写在 <html data-theme=”dark|light”>，只覆盖 CSS 变量，因此组件无需第二套深色规则
- 存储键 SyncTool-theme（localStorage）
- 未手动选择过时跟随系统 prefers-color-scheme，并监听系统主题变化实时跟随；用户点过切换按钮之后就以用户选择为准，不再被系统覆盖
- <head> 内联脚本在首屏渲染前应用主题，避免深色用户看到一帧白底闪烁
默认语言判定（优先级从高到低）
[td]
| 优先级 | 来源 | 说明 |
| 1 | 语言 Cookie | 用户点过语言按钮，显式选择最高优先 |
| 2 | 浏览器时区 | Asia/Shanghai、Asia/Hong_Kong、Asia/Taipei、Asia/Macau 等 → 中文，其余 → 英文 |
| 3 | Accept-Language | 时区尚未上报时（首个请求）的兜底 |
| 4 | 简体中文 | 最终默认值 |
为什么时区优先于 Accept-Language：境外华人用户的浏览器语言常常是英文，但人在国内时区。时区是「想看哪种语言」更准的信号。
由于本项目是服务端渲染，语言必须在渲染前定好，所以时区由前端脚本探测后写入 SyncTool_TZ cookie，服务端 TimezoneAwareLocaleResolver 读取它决定 Locale。首次访问若渲染语言与时区推断不符会自动刷新一次；用户显式选过语言后不再刷新。
离线/内网可用 —— 所有前端资源均在仓库内，运行时不发起任何外部请求：
[td]
| 资源 | 说明 |
| css/app.css | 手写样式，含设计令牌与深色主题 |
| js/theme.js js/app.js | 原生 JS，无 jQuery、无框架 |
| vendor/css/bootstrap-icons.min.css + vendor/fonts/*.woff2 | 图标字体，本地托管 |
| vendor/favicon.svg | 内联渐变 SVG |
字体使用系统字体栈（PingFang SC / Microsoft YaHei 等），不引入 webfont；下拉箭头等小图形使用内联 data: URI。静态资源总体积约 440KB。验证方式：抓取任意页面 HTML，其中 src/href 引用的外部 http(s) 地址数量为 0。
与市面已有工具的对比 一览表[td]
| 维度 | SyncTool | Debezium + Kafka | Canal | Flink CDC | DataX | Kettle | SymmetricDS | Navicat/DBEaver 数据传输 |
| 部署形态 | 单个 jar | Kafka + Connect + ZK/KRaft | Canal Server (+MQ) | Flink 集群 (JM/TM) | 客户端脚本 | 桌面 + 资源库 | 每节点部署引擎 | 桌面客户端 |
| 外部依赖 | 无 | Kafka、ZooKeeper | ZooKeeper（集群） | Flink、Checkpoint 存储 | 无（但需 JSON 作业） | JVM + 插件 | 数据库触发器 | 无 |
| 配置方式 | Web 界面点选 | YAML/REST + 代码消费 | 配置文件 + 客户端代码 | SQL/DataStream 代码 | JSON 作业文件 | 图形化 ETL 拖拽 | properties + 建触发器 | 向导 |
| 持续增量同步 | ✅ 轮询 /Cron | ✅ 日志级 | ✅ binlog | ✅ 日志级 | ❌ 一次性批量 | ⚠️ 需自建定时与增量逻辑 | ✅ 触发器 | ❌ 一次性 |
| 结构（DDL）同步 | ✅ 自动建表 / 索引 / 视图 / 存储过程 | ⚠️ 输出 DDL 事件，落库需自写 | ⚠️ 仅事件 | ⚠️ 需自定义 | ❌ 需预建表 | ⚠️ 手工映射 | ⚠️ 有限 | ✅ 但仅一次性 |
| 异构方言转换 | ✅ 类型 / 函数 / 引号 / 分页 / 过程 | ❌ 需自行实现 | ❌ | ⚠️ 部分 | ⚠️ 类型映射有限 | ⚠️ 手工 | ⚠️ 有限 | ⚠️ 一次性映射 |
| 国产数据库 | ✅ 达梦 / 金仓 /GBase/ 神通 /OpenGauss | ❌ 基本不支持 | ❌ 仅 MySQL | ⚠️ 少数 | ⚠️ 需自写插件 | ⚠️ 靠通用 JDBC | ⚠️ 有限 | ⚠️ 部分 |
| 源库侵入性 | 只读查询，零侵入 | 需开 binlog/wal + 复制权限 | 需开 binlog | 需开 binlog/wal | 只读 | 只读 | 需建触发器 | 只读 |
| 幂等 / 断点续传 | ✅ 主键 upsert + 游标持久化 | ✅ offset | ✅ | ✅ checkpoint | ❌ | ❌ 需自建 | ✅ | ❌ |
| 可视化监控 | ✅ 看板 + 变更日志 | 需接 Prometheus/Grafana | 需自建 | Flink UI（偏作业） | 日志 | 有限 | 有 Web 控制台 | ❌ |
| 上手成本 | 分钟级 | 高 | 中高 | 高 | 中 | 中 | 中高 | 低（但不解决持续同步） |
| 内网离线 | ✅ 无外网请求 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 适用规模 | 中小规模、部门级、信创迁移 | 大规模流式 | MySQL 生态 | 大规模流式 | 大批量离线 | 复杂 ETL | 多主复制 | 临时搬数 |
图例：✅ 原生支持 ⚠️ 部分支持 / 需额外工作 ❌ 不支持
五个真正的差异点1.「一个 jar」对「一套基础设施」
Debezium / Flink CDC 是优秀的流式框架，但要跑起来一条 MySQL → PostgreSQL 的链路，你需要 Kafka、Kafka Connect、协调服务，再写一个消费端把事件翻译成目标库的 DML。SyncTool 的等价操作是：java -jar synctool.jar，打开浏览器，建两个连接，建一个项目，点「启动同步」。当同步需求的规模配不上一套流式基础设施的运维成本时，这个差距就是决定性的。
2. 结构同步是一等公民，不是留给你的作业
绝大多数 CDC 工具只解决「数据流」，目标表得你自己先建好；DataX 更是明确要求预建表。SyncTool 会读取源库元数据，按目标库方言自动创建表、索引、视图、存储过程，并在源库 DDL 变更后把差异传播过去。跨异构库迁移里，建表和类型映射的工作量往往比搬数据本身更大。
3. 为国产数据库与信创迁移而生
达梦、人大金仓、南大通用、神通、OpenGauss 是内置的一等选项 —— 不是「通过通用 JDBC 也许能连上」，而是各自有专门的方言实现：MERGE INTO … FROM DUAL 的 upsert 写法、类型上限（Oracle VARCHAR2 4000）、函数名差异、标识符引号规则都已处理。Oracle/SQL Server → 国产库的替换场景是本工具的主战场，而这恰恰是 Debezium、Canal 生态最薄弱的地方。
4. 零侵入源库
SymmetricDS 需要在源库建触发器；Debezium / Canal / Flink CDC 需要开启 binlog / WAL 逻辑复制并申请复制权限 —— 在很多生产库上，这是一次要走审批流程的变更。SyncTool 只需要一个只读账号，通过查询游标列做增量，源库结构和配置一动不动。
5. 一次性搬数 vs 持续同步
Navicat / DBeaver 的「数据传输」和 DataX 解决的是「把数据搬过去一次」。SyncTool 解决的是「让两边持续保持一致」：进程重启后从游标继续、停机期间的变更会被补齐、每一行写入都是幂等的。这是两个完全不同的问题。
什么时候不该用 SyncTool诚实地讲清边界：
- 需要毫秒级延迟或严格的变更顺序 → 用 Debezium / Flink CDC。轮询方案的延迟下限就是轮询间隔。
- 需要捕获物理删除且表很大 → 无源库审计表时，删除检测要比对双方主键全集，仅对行数低于 full-compare-max-rows 的表启用。
- 单表数亿行的一次性初始化 → DataX 这类专为批量吞吐设计的工具更快。
- 需要复杂 ETL 变换（清洗、聚合、多流 join）→ 用 Kettle / Flink。SyncTool 做的是同步，不是转换。
- 多主双向复制 → 用 SymmetricDS。本工具假定目标库仅由自己写入。
支持的数据库MySQL、MariaDB、Oracle、SQL Server、DB2、PostgreSQL、OpenGauss、达梦 (DM)、人大金仓 (KingBase)、南大通用 (GBase)、神通 (Oscar)、H2，以及自定义数据库（提供 JDBC URL、驱动类名与驱动 jar 路径，运行时动态加载）。
内置驱动仅 MySQL / PostgreSQL / H2；其余数据库需在连接配置中填写驱动 jar 路径，工具会用独立 URLClassLoader 加载并通过 DriverShim 注册到 DriverManager。这样做的好处是：发行包不必捆绑一堆商业驱动，也不会因为驱动版本冲突污染应用类加载器。
部署步骤 环境要求[td]
| 项 | 要求 |
| JDK | 17 或以上 |
| Maven | 3.6+（仅构建时需要） |
| 内存 | 建议 ≥ 512MB 堆 |
| 端口 | 默认 8080 |
| 磁盘 | 元数据库 + 日志 + 快照，建议预留 1GB |
一、构建 git clone https://github.com/vfaner/synctool.git# 国内网络请使用镜像：# git clone https://gitee.com/super_rgh/synctool.gitcd synctoolmvn clean package -DskipTests 产物：target/synctool.jar（可执行 fat jar）。
二、启动 java -jar target/synctool.jar 访问 http://localhost:8080 即可。
首次启动会在当前工作目录下自动创建：
[td]
| 目录 | 内容 |
| ./data | 工具自身的元数据（H2 文件库：连接、项目、游标、锁、变更日志） |
| ./logs | 运行日志 |
| ./snapshots | 元数据快照目录（可通过 sync.snapshot-dir 修改） |
⚠️ 这些是相对路径。请固定在同一目录下启动，或用绝对路径覆盖配置，否则重启后会找不到原有数据。
三、生产环境配置（重要）在 jar 同级目录创建 application.yml：
server: port: 8080spring: datasource: url: jdbc:h2:file:/opt/synctool/data/synctool;MODE=MySQL;AUTO_SERVER=TRUEsync: poll-interval: 2000 # 轮询间隔（毫秒）snapshot-dir: /opt/synctool/snapshots batch-size: 500 fetch-size: 1000 safety-lag-ms: 1000 row-count-audit-interval-ms: 60000 full-compare-max-rows: 20000 lock-ttl-ms: 300000 crypto-password: 请改成你自己的强口令 # ← 必须修改 crypto-salt: 请改成你自己的 16 位十六进制盐 # ← 必须修改 logging: file: path: /opt/synctool/logs启动时指定：
java -jar synctool.jar –spring.config.location=file:./application.yml
🔐 安全提示：sync.crypto-password 与 sync.crypto-salt 用于加密存储的数据库连接密码，发行包带有默认值，生产环境必须修改。修改后已存储的旧密码将无法解密，需在界面上重新填写。crypto-salt 必须是合法的十六进制字符串。
四、加载非内置驱动 对于 Oracle、SQL Server、DB2、达梦、金仓等，把厂商驱动 jar 放到服务器上，例如：
mkdir -p /opt/synctool/driverscp ojdbc8.jar DmJdbcDriver18.jar kingbase8-8.6.0.jar /opt/synctool/drivers/然后在「数据库连接」页面新建连接时，填写驱动 jar 路径（如 /opt/synctool/drivers/ojdbc8.jar）与驱动类名（选择预设类型时会自动填好）。点击「测试连接」验证加载成功即可保存。
五、后台常驻 方式 A：systemd（推荐）
/etc/systemd/system/synctool.service：
[Unit]Description=SyncTool Database SyncAfter=network.target[Service]Type=simpleUser=synctoolWorkingDirectory=/opt/synctoolExecStart=/usr/bin/java -Xms512m -Xmx1g -jar /opt/synctool/synctool.jar \ –spring.config.location=file:/opt/synctool/application.ymlRestart=alwaysRestartSec=10[Install]WantedBy=multi-user.targetsudo systemctl daemon-reloadsudo systemctl enable –now synctoolsudo systemctl status synctool方式 B：nohup（快速验证）
cd /opt/synctoolnohup java -jar synctool.jar > /dev/null 2>&1 &六、升级 sudo systemctl stop synctoolcp target/synctool.jar /opt/synctool/synctool.jarsudo systemctl start synctool 元数据库使用 ddl-auto: update，表结构会自动演进。升级前请备份 ./data 目录。停机期间源库产生的变更会在重启后由游标机制自动补齐，不会丢失。
使用流程
- 数据库连接 → 新建源库和目标库连接 → 点击「测试连接」确认可用
- 项目 → 新建项目 → 选择源库与目标库
- 进入项目详情 → 勾选要同步的表 / 视图 / 存储过程 → 配置同步选项 → 保存
- 点击「立即同步」验证一次，或点击「启动同步」开始持续轮询
- 在「变更日志」查看每次同步的明细
并发与一致性设计 这是本工具的核心设计点，值得单独说明。
增量窗口是闭区间 每个周期同步表数据时：
- 先从源库读取 MAX(游标列) 作为本次窗口的上界（水位线）
- 查询 游标列 > 上次游标 AND 游标列 <= 本次水位线 的数据
- 写入目标库并提交
- 提交成功后才把游标推进到水位线
关键在于第 2 步的上界。如果不加上界，一次耗时较长的读取可能把游标推进到它实际并未读到的数据之后 —— 那些行会被永久跳过。加了上界后，同步期间新写入源库的数据自然落在窗口之外，下个周期被捕获。
游标在数据提交之后才推进 源库和目标库是两个异构数据库，没有跨库事务。因此选择的顺序是：先提交目标库数据，再持久化游标。
- 若在两者之间崩溃 → 下次重放同一窗口
- 若在目标库提交前崩溃 → 事务回滚，同样重放
两种情况都不会丢数据。代价是同一行可能被投递两次，这由下一点消化。
所有写入都是幂等的 每一行都通过基于主键的 upsert 写入，重复执行收敛到同一状态：
[td]
| 数据库 | 语句 |
| MySQL / MariaDB | INSERT … ON DUPLICATE KEY UPDATE |
| PostgreSQL 系 | INSERT … ON CONFLICT (pk) DO UPDATE |
| Oracle / DM | MERGE INTO … USING (SELECT ? FROM DUAL) |
| SQL Server | MERGE … WITH (HOLDLOCK) |
| DB2 | MERGE INTO … USING (VALUES (?)) |
| 通用 / 自定义 | UPDATE-then-INSERT（无原生 upsert 时的兜底，含唯一冲突重试） |
这把「至少一次投递」变成了「结果上的恰好一次」。删除同样是基于主键的条件删除，重复执行无副作用。
无主键表：无法识别既有行，因此无法保证幂等。工具会明确告警，建议为表添加主键。
时间戳安全回退 时间戳由语句执行时刻决定，但行要到事务提交才对我们可见。一个「开始早、提交晚」的源库事务，其时间戳可能低于我们已经推进的水位线 —— 那它就会被永久跳过。
因此持久化水位线时会回退 sync.safety-lag-ms（默认 1 秒）。代价是这段窗口内少量已同步的行被重复投递，由幂等写入消化；收益是晚提交的事务不会丢失。
单实例执行：三层锁[td]
| 层级 | 覆盖范围 | 不足 |
| @DisallowConcurrentExecution | 同一调度器内同一 Job 不并发触发 | 只管 Quartz，不管手动执行；进程重启即失效 |
| JVM ReentrantLock（按项目） | 同进程内的手动「立即同步」与调度执行互斥 | 进程外无效 |
| 数据库锁行（带过期时间） | 跨进程、跨节点 | —— |
数据库锁是保证能跨重启的那一层：内存锁随进程消失，若只有内存锁，硬杀进程后新实例无法得知旧实例是否仍在运行。锁行带租约（sync.lock-ttl-ms，默认 5 分钟），崩溃实例的锁可被接管而不会永久阻塞项目；同时启动时会主动释放本实例上次遗留的锁。
获取锁使用条件 UPDATE（WHERE lock_owner IS NULL OR lock_owner = ? OR lock_expires_at < ?），两个实例竞争时只有一条 UPDATE 能匹配，因此不会同时获得锁。
结构变更的恢复 元数据快照持久化在 metadata_snapshot 表中，每个对象 DDL 应用成功后立即更新自己的快照。因此：
- 工具停机期间源库发生的 DDL 变更，重启后通过快照比对被发现
- 中途崩溃时，已应用的对象保留快照，其余下个周期重新检测
- CREATE TABLE 容忍「已存在」错误，使结构同步同样可重放
行数审计 游标机制只能证明「我读到了哪里」，不能证明「目标库真的还留着这些行」。因此每 sync.row-count-audit-interval-ms（默认 60 秒）会做一次行数审计，核对目标库实际持有的行数与游标声称已投递的量是否一致，发现漂移时记录到变更日志。
增量检测策略 工具按可靠性从高到低选择：
[td]
| 策略 | 触发条件 | 能力 |
| TIMESTAMP | 存在 update_time / updated_at / last_modified 等时间戳类型列 | 检测新增 和 更新 |
| IDENTITY | 存在创建时间列，或单列数字主键 | 仅检测新增 |
| FULL_COMPARE | 无游标列，且行数低于 sync.full-compare-max-rows | 每周期全表 upsert |
| NONE | 无游标列且表过大 | 仅首次全量加载，之后跳过并说明原因 |
命名匹配要求列类型确实是时间类型 —— 名为 update_time 的 VARCHAR 不会被当作时间戳游标，因为字符串比较的顺序不可靠。
可在项目详情页为每张表手动指定游标列，优先级高于自动识别。若某表策略为 IDENTITY 或 NONE，界面会直接标出，因为这意味着更新可能同步不到。
配置项application.yml 中的 sync.*：
[td]
| 键 | 默认 | 说明 |
| poll-interval | 2000 | 轮询间隔（毫秒） |
| snapshot-dir | ./snapshots | 元数据快照目录 |
| batch-size | 500 | 每个 JDBC 批次行数 |
| fetch-size | 1000 | 源库结果集读取批量 |
| max-retries | 3 | 连续失败多少次后标记任务为 ERROR |
| safety-lag-ms | 1000 | 时间戳水位线回退量，见上文 |
| row-count-audit-interval-ms | 60000 | 行数审计间隔（毫秒） |
| full-compare-max-rows | 20000 | 全表比对的行数上限 |
| lock-ttl-ms | 300000 | 同步锁租约时长（毫秒） |
| crypto-password | (默认值) | 密码加密密钥，生产环境必须修改 |
| crypto-salt | (默认值) | 加密盐值（十六进制），生产环境必须修改 |
连接密码使用 Spring Security Crypto 的 AES-256 加密后存储，带 enc: 前缀标记以避免重复加密，并兼容加密启用前写入的明文。
架构 com.synctool├── config 配置：i18n、Quartz、Jackson、SyncProperties├── controller MVC 控制器；controller/api 为 REST 端点├── service│ ├── connection DataSourceManager、DriverLoader、DriverShim、连接测试│ ├── metadata MetadataReader 各方言实现 + 快照服务│ ├── monitor ChangeDetector（结构差异）、CursorStrategyResolver│ ├── converter SqlDialect 各实现、类型映射、SQL 体转换│ ├── sync SyncEngine、DataSyncService、StructureSyncService、DdlExecutor│ └── task Quartz 调度、三层锁、上下文装配、启动恢复├── model JPA 实体与枚举├── repository Spring Data JPA├── dto SyncConfig、ChangeEvent、SyncResult、meta/* 元数据模型└── util CryptoUtil 关于 @Transactional 的一处设计SyncStateWriter、SyncLockStore、SyncTaskStore 被拆成独立的 Bean，而不是把方法放在 SyncEngine / SyncLockService 上。原因是 Spring 的 @Transactional 基于代理：同类内部自调用会绕过代理，REQUIRES_NEW 和 @Modifying 查询将失去事务语义。跨 Bean 调用才能让这些语义真正生效 —— 而游标推进与锁获取恰恰依赖它。
测试mvn test43 个单元测试，覆盖：
- 方言不变量：每种方言都能生成处理冲突的幂等 upsert；绑定顺序与占位符数量一致；类型映射不越过各产品上限（Oracle VARCHAR2 4000、SQL Server 4000、无精度 NUMBER 不产生 DECIMAL(0,0)）；不可移植的默认值被丢弃而非生成非法 DDL
- 游标策略：解析优先级；IDENTITY 策略正确标记「可能漏掉更新」；配置列失效时降级而非报错；VARCHAR 类型的 update_time 不被误用
- 游标序列化：时间戳以 UTC ISO-8601 往返，毫秒精度不丢失；超长数字降级为 BigDecimal；损坏值视为「未同步」而非抛异常
- 密码加密：往返、不重复加密、兼容历史明文、相同密码密文不同
另有端到端脚本（H2 源 / 目标库，20 项断言），覆盖首次全量加载、增量新增、增量更新、重复同步幂等性、DDL 列新增传播、并发写入下源目标行数一致且无重复、并发调用被锁拒绝、停机期间写入在重启后被补齐、自动轮询、变更日志与游标策略上报。
已知限制
- 存储过程转换：函数名、标识符引号、FROM DUAL、分页语法等机械差异可自动转换；但 PL/SQL、T-SQL、PL/pgSQL 的过程化控制流结构不同，复杂过程无法可靠自动翻译。这类对象会保留源码尝试执行，失败时给出具体错误，可在项目配置中提供手动 DDL 覆盖。
- 行删除检测：无源库审计表时需比对双方主键全集，因此仅对行数低于 full-compare-max-rows 的表启用。
- 无主键表：无法保证写入幂等，重放可能产生重复行；工具会告警。
- 目标库写入方：假定目标库仅由本工具写入。
- 延迟：轮询方案的延迟下限即轮询间隔。若需更低延迟，可扩展接入 Debezium 解析 binlog / LogMiner。
参与贡献 欢迎 Issue 与 Pull Request：
如果这个项目对你有帮助，欢迎点个 Star ⭐
