AI部署框架nndeploy：https://github.com/Alwaysssssss/nndeploy## 介绍nndeploy是一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架，一套实现可在多端(云、边、端)完成模型的高性能部署。作为一个多平台模型部署工具，我们的框架最大的宗旨就是简单贴心(^‹^)，目前nndeploy已完成TensorRT、OpenVINO、ONNXRuntime、MNN、TNN、NCNN六个业界知名的推理框架的继承，后续会继续接入tf-lite、paddle-lite、coreML、TVM、AITemplate，在我们的框架下可使用一套代码轻松切换不同的推理后端进行推理，且不用担心部署框架对推理框架的抽象而带来的性能损失。如果您需要部署自己的模型，目前nndeploy可帮助您在一个文件（大概只要200行代码）之内完成多端部署，提供了一些的前后处理和推理模板可供选择帮助您简化流程；如果只需使用已有主流模型进行自己的推理，目前nndeploy已完成YOLO系列等多个开源模型的部署，可供直接使用，目前我们还在积极部署其它开源模型（如果您或团队有需要部署的开源模型或者其他部署相关的问题，欢迎随时来和我们探讨(^-^)）## 架构简介<img width="568" alt="架构" src="https://github.com/ruanyf/weekly/assets/101554003/489de0d1-8599-4766-8ab3-9824c5962096">## 优势特性nndeploy具有如下优势特性：### 支持多平台支持的平台和推理框架如下表所示| OS/Inference | Linux | Windows | Android | MacOS | iOS | 开发人员 | 备注 || :-----------------------------------------------------: | :---: | :-----: | :-----: | :---: | :---: | :---------------------------------------: | :---: || TensorRT | yes | no | no | no | no | Always | || OpenVINO | yes | yes | no | no | no | Always | || ONNXRuntime | yes | yes | no | no | no | Always | || MNN | yes | yes | yes | no | no | Always | || TNN | yes | yes | yes | no | no | 02200059Z | || ncnn | no | no | yes | no | no | Always | |注: yes：完成在该平台的验证，no：目前正在验证中## 直接可用的算法| 算法 | Inference | 开发人员 | 备注 || :---------------------------------------------: | :-------------------------------: | :----------------------------------------------------------------------------------: | :---: || YOLOV5 | TensorRt/OpenVINO/ONNXRuntime/MNN | 02200059Z、Always | || YOLOV6 | TensorRt/OpenVINO/ONNXRuntime | 02200059Z、Always | || YOLOV8 | TensorRt/OpenVINO/ONNXRuntime/MNN | 02200059Z、Always | |### 简单易用- 通过切换推理配置，一套代码可在多端部署，算法的使用接口简单易用- 新增算法简单，将AI算法部署抽象为有向无环图Pipeline，前处理为一个任务Task，推理也为一个任务Task，后处理也为一个任务Task，也可以将多个Pipeline组合成一个新的Pipeline- 通用的推理模板和前后处理模板### 高性能- 可配置推理框架所有参数，不会因为对推理框架的抽象而带来性能损失- 可直接操作理框架内部分配的输入输出，实现前后处理的零拷贝，目前正在不断完善不同格式的Tensor的零拷贝- 线程池正在开发完善中，可实现多任务流水线并行- 一组高性能的算子正在开发中，完成后将加速你模型前后处理速度