ArkFlow

ArkFlow是一个基于Rust的高性能流处理引擎,支持多种数据源和处理组件,提供低延迟的数据流处理能力。

ArkFlow是一个用Rust构建的高性能流处理引擎,利用Tokio异步运行时实现卓越性能和低延迟处理。它支持多种输入输出源包括Kafka、MQTT、HTTP和文件系统,并内置SQL查询、JSON处理、Protobuf编解码等多种处理器。采用模块化设计,易于扩展新组件。ArkFlow使用YAML配置文件定义数据处理流程,支持从简单数据生成到复杂流处理的各种场景。项目提供详细的配置说明和多个使用示例,包括Kafka到Kafka的数据处理流程和测试数据生成处理场景。