mysql-dataflowsync(DFS)

DFS是一个高效的MySQL单向数据同步框架,由Python编写,包含CDC、持久队列、关系处理模块等组件,可实现数据的ETL或事件备份。

mysql-dataflowsync(DFS)是一个高效的MySQL单向数据同步框架,由Python编写。框架包含毫秒级增量数据捕获模块(CDC)、基于SQLite的持久队列(persist_queue)、自动关系处理模块(rel_mgr)、基于MariaDB的日志与关系数据库(log_db)和高度自定义的复杂数据转换模块(DPU)。DFS使用容器化封装,其中DPU可多节点运行以加速数据处理过程。CDC流式读取MySQL binlog实现增量数据捕获,默认捕获INSERT、UPDATE、DELETE事件。DFS自带一个自动关系处理模块(rel_mgr),目标数据库有其他数据插入时,可自动记录源记录与目标记录新旧ID,并在事件影响到目标数据库前进行纠正。在阿里云 ecs.c7nex.xlarge 4核(vCPU)8 GiB 单节点运行DFS(CDC + DPU),源数据库至目标数据库同步平均延迟为 50ms