mysql-dataflowsync（DFS）
DFS是一个高效的MySQL单向数据同步框架，由Python编写，包含CDC、持久队列、关系处理模块等组件，可实现数据的ETL或事件备份。
• Copy the embed code to showcase this product on your website
• Share on X to spread the word about this amazing tool
mysql-dataflowsync（DFS）是一个高效的MySQL单向数据同步框架，由Python编写。框架包含毫秒级增量数据捕获模块（CDC）、基于SQLite的持久队列（persist_queue）、自动关系处理模块（rel_mgr）、基于MariaDB的日志与关系数据库（log_db）和高度自定义的复杂数据转换模块（DPU）。DFS使用容器化封装，其中DPU可多节点运行以加速数据处理过程。CDC流式读取MySQL binlog实现增量数据捕获，默认捕获INSERT、UPDATE、DELETE事件。DFS自带一个自动关系处理模块（rel_mgr），目标数据库有其他数据插入时，可自动记录源记录与目标记录新旧ID，并在事件影响到目标数据库前进行纠正。在阿里云 ecs.c7nex.xlarge 4核(vCPU)8 GiB 单节点运行DFS(CDC + DPU)，源数据库至目标数据库同步平均延迟为 50ms。