FastestDet NCNN Opencv CPU实时推理

z13228604287 · 发表于 2022-12-21 15:53:46

本帖最后由 z13228604287 于 2022-12-21 16:11 编辑

FastestDet：https://github.com/dog-qiuqiu/FastestDet
FastestDet是设计用来接替yolo-fastest系列算法，相比于业界已有的轻量级目标检测算法如yolov5n, yolox-nano, nanoDet, pp-yolo-tiny, FastestDet和这些算法压根儿不是一个量级，FastestDet无论在速度还是参数量上，都是要小好几个数量级的(不要在拿int8的模型和我fp32的模型比体积了,不公平)，但是精度自然而然也比不过。FastestDet是针对计算资源紧缺的ARM平台设计的，突出单核效能，因为在实际业务场景中，不会把所有CPU资源都给推理框架做模型推理的，假如说你想在例如树莓派, RK3399, RK3568去跑实时目标检测，那么FastestDet是比较好的选择，或者移动端上不想占用太多cpu资源，也可以去用单核并设置cpu sleep去推理FastestDet，在低功耗的条件下运行算法。
NCNN：https://github.com/Tencent/ncnn

ncnn 是腾讯优图实验室首个开源项目，是一个为手机端极致优化的高性能神经网络前向计算框架。

ncnn 从设计之初深刻考虑手机端的部属和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。

OpenCV：https://opencv.org/releases

OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

易语言：http://www.dywt.com.cn

易语言（EPL）是一门以中文作为程序代码编程语言，其以“易”著称，创始人为吴涛。易语言早期版本的名字为e语言，也通常代指与之对应的集成开发环境。其最早的版本的发布可追溯至2000年9月11日。创造易语言的初衷是进行用中文来编写程序的实践，方便中国人以中国人的思维编写程序，并不用再去学习西方思维。易语言的诞生极大的降低了编程的门槛和学习的难度。从2000年以来，易语言已经发展到一定的规模，功能上、用户数量上都十分可观。

实现过程

窗口程序集名	保留	保留	备注
程序集1

子程序名	返回值类型	公开	备注
_启动子程序	整数型		本子程序在程序启动后最先执行

变量名	类型	静态	数组	备注
NCNN	腾讯网络
图	多维矩阵类
预测框	小数型		0
i	整数型
ii	整数型
整数	整数型

' /* --> 设置ncnn推断所需的参数 <-- */
NCNN.线程数 (5) ' 多线程支持
NCNN.启用vulkan计算 (假)
NCNN.启用winograd卷积优化 (假)
NCNN.启用sgemm卷积优化 (假)
NCNN.启用_FP16_锁定 (假)
NCNN.启用量化int8推断 (真)
NCNN.启用_FP16_计算 (假)
NCNN.启用_FP16_储存 (假)
NCNN.启用_packing_layout (真)
NCNN.启用_shader_pack8 (假)
NCNN.启用_image_storage (假)
' 测试模型来源：https://github.com/dog-qiuqiu/FastestDet/tree/main/example/ncnn
' 加载成功返回 0

如果真 (NCNN.加载参数 (“E:\OPENCV\FastestDet\example\ncnn\FastestDet.param”) ≠ 0)

返回 (-1)

如果真 (NCNN.加载模型 (“E:\OPENCV\FastestDet\example\ncnn\FastestDet.bin”) ≠ 0)

返回 (-1)
图.从文件加载 (“E:\OPENCV\FastestDet\example\ncnn\3.jpg”, 1)

如果真 (图.空 ())

返回 (-1)
' 预测推理

计次循环首 (10000, ii)

整数＝视觉_取启动时间 ()

预测框＝ NCNN.识别最快的检测 (图, 352, 352, 80, 0.65)

' 1= 类索引 2=置信度 3=预测框.X 4=预测框.Y 5=预测框.W 6=预测框.H

. ' 计次循环首 (取数组下标 (预测框, 1), i)

' ' 调试输出 (预测框 [i] [1], 预测框 [i] [2])

' 视觉_矩形f (图, 矩形2f (预测框 [i] [3], 预测框 [i] [4], 预测框 [i] [5], 预测框 [i] [6]), 标量 (0, 0, 255), 1, 8, 0)

. ' 计次循环尾 ()

调试输出 (视觉_取启动时间差异 (整数, 0))

计次循环尾 ()
返回 (0) ' 可以根据您的需要返回任意数值

i支持库列表	支持库注释
OpenCV	(未知支持库)

.版本 2<br />
.支持库 OpenCV<br />
<br />
.程序集 程序集1<br />
<br />
.子程序 _启动子程序, 整数型, , 本子程序在程序启动后最先执行<br />
.局部变量 NCNN, 腾讯网络<br />
.局部变量 图, 多维矩阵类<br />
.局部变量 预测框, 小数型, , "0"<br />
.局部变量 i, 整数型<br />
.局部变量 ii, 整数型<br />
.局部变量 整数, 整数型<br />
<br />
' /* --> 设置ncnn推断所需的参数 <-- */<br />
NCNN.线程数 (5)  ' 多线程支持<br />
NCNN.启用vulkan计算 (假)<br />
NCNN.启用winograd卷积优化 (假)<br />
NCNN.启用sgemm卷积优化 (假)<br />
NCNN.启用_FP16_锁定 (假)<br />
NCNN.启用量化int8推断 (真)<br />
NCNN.启用_FP16_计算 (假)<br />
NCNN.启用_FP16_储存 (假)<br />
NCNN.启用_packing_layout (真)<br />
NCNN.启用_shader_pack8 (假)<br />
NCNN.启用_image_storage (假)<br />
<br />
' 测试模型 来源：https://github.com/dog-qiuqiu/FastestDet/tree/main/example/ncnn<br />
' 加载成功返回 0<br />
.如果真 (NCNN.加载参数 (“E:\OPENCV\FastestDet\example\ncnn\FastestDet.param”) ≠ 0)<br />
    返回 (-1)<br />
.如果真结束<br />
.如果真 (NCNN.加载模型 (“E:\OPENCV\FastestDet\example\ncnn\FastestDet.bin”) ≠ 0)<br />
    返回 (-1)<br />
.如果真结束<br />
图.从文件加载 (“E:\OPENCV\FastestDet\example\ncnn\3.jpg”, 1)<br />
.如果真 (图.空 ())<br />
    返回 (-1)<br />
.如果真结束<br />
' 预测推理<br />
.计次循环首 (10000, ii)<br />
    整数 ＝ 视觉_取启动时间 ()<br />
    预测框 ＝ NCNN.识别最快的检测 (图, 352, 352, 80, 0.65)<br />
<br />
    ' 1= 类索引  2=置信度  3=预测框.X 4=预测框.Y 5=预测框.W 6=预测框.H<br />
    .' 计次循环首 (取数组下标 (预测框, 1), i)<br />
        ' ' 调试输出 (预测框 <i> [1], 预测框 <i> [2])<br />
        ' 视觉_矩形f (图, 矩形2f (预测框 <i> [3], 预测框 <i> [4], 预测框 <i> [5], 预测框 <i> [6]), 标量 (0, 0, 255), 1, 8, 0)<br />
    .' 计次循环尾 ()<br />
    调试输出 (视觉_取启动时间差异 (整数, 0))<br />
<br />
.计次循环尾 ()<br />
<br />
<br />
返回 (0)  ' 可以根据您的需要返回任意数值

测试系统 win10 x64 CPU i7-7700HQ 内存24G
1.速度：
QQ图片20221221160608.png