@TOC

目的检测

本文档展现了若何运用 lockzhiner_vision_module::vision::PaddleDet 类停止目的检测，并经过

lockzhiner_vision_module::vision::Visualize 函数将检测后果可视化。

1. 根底常识解说

1.1 目的检测的根本引见

目的检测是计较机视觉范畴中的一个要害义务，它不只需求辨认图象中存正在哪些工具，借需求定位那些工具的地位。详细来讲，目的检测算法会输入每一个检测到的工具的鸿沟框（Bounding Box）和其所属种别的几率或相信度得分。

• 使用场景：目的检测手艺普遍使用于多个范畴，包罗但没有限于平安监控、主动驾驶汽车、智能批发战医疗影象剖析。

1.2 PaddleDetection 的根本引见

PaddleDetection 是基于百度飞桨深度进修框架开辟的一个下效的目的检测库，撑持多种进步前辈的目的检测模子，如 YOLO 系列、SSD、Faster R-CNN、Mask R-CNN 等。它供给了复杂易用的接心，使得开辟者可以疾速摆设下功能的目的检测使用。

• 特性：
  • 下功能：劣化了推理速率，正在坚持下粗度的同时完成了疾速呼应。
  • 灵敏性：撑持多种预练习模子，能够依据详细需供挑选适宜的模子架构。
  • 易于散成：供给 C++ API，便于嵌进式零碎或桌里使用顺序中运用。
  • 丰厚的模子库：涵盖单阶段（One-stage）战单阶段（Two-stage）检测模子，知足分歧场景的需供。
• 合用场景：合用于需求对视频流或图象停止及时剖析的使用场景，比方安防监控、智能交通零碎、产业主动化等。

2. API 文档

2.1 PaddleDetection 类

2.1.1 头文件

#include < lockzhiner_vision_module/vision/deep_learning/detection/paddle_det.h >

2.1.2 结构函数

lockzhiner_vision_module::vision::PaddleDetection();

• 感化：
  • 创立一个 PaddleDetection 工具，并初初化相干成员变量。
• 参数：
  • 无
• 前往值：
  • 无

2.1.3 Initialize函数

bool Initialize(const std::string& model_path);

• 感化：
  • 减载预练习的 PaddleDetection 模子。
• 参数：
  • model_path：模子途径，包括模子文件战参数文件。
• 前往值：
  • true：模子减载胜利。
  • false：模子减载掉败。

2.1.4 SetThreshold函数

void SetThreshold(float score_threshold = 0.5, float nms_threshold = 0.3);

• 感化：
  • 设置目的检测的相信度阈值战NMS阈值。
• 参数：
  • score_threshold：相信度阈值，默许值为0.5。
  • nms_threshold：NMS阈值，默许值为0.3。
• 前往值：
  • 无

2.1.5 Predict函数

std::vector< lockzhiner_vision_module::vision::DetectionResult > Predict(const cv::Mat& image);

• 感化：
  • 运用减载的模子对输出图象停止目的检测，前往检测后果。
• 参数：
  • input_mat (const cv::Mat&): 输出的图象数据，凡是是一个 cv::Mat 变量。
• 前往值：
  • 前往一个包括多个 DetectionResult 工具的背量，每一个工具暗示一个检测后果。

2.2 DetectionResult 类

2.2.1 头文件

#include < lockzhiner_vision_module/vision/utils/visualize.h >

2.2.2 box函数

lockzhiner_vision_module::vision::Rect box() const;

• 感化：
  • 获得目的检测后果的鸿沟框。
• 参数：
  • 无
• 前往值：
  • 前往一个 lockzhiner_vision_module::vision::Rect 工具，暗示目的检测后果的鸿沟框。

2.2.3 score函数

float score() const;

• 感化：
  • 获得目的检测后果的相信度得分。
• 参数：
  • 无
• 前往值：
  • 前往一个 float 范例的相信度得分。

2.2.4 label_id函数

• 感化：
  • 获得目的检测后果的标签ID。
• 参数：
  • 无
• 前往值：
  • 前往一个整数，暗示目的检测后果的标签ID。

2.3 Visualize 函数

2.3.1 头文件

#include < lockzhiner_vision_module/vision/utils/visualize.h >

2.3.2 函数界说

void lockzhiner_vision_module::vision::Visualize(

    const cv::Mat& input_mat,

    cv::Mat& output_image,

    const std::vector< lockzhiner_vision_module::vision::DetectionResult >& results,

    const std::vector< std::string >& labels = {},

    float font_scale = 0.4

);

• 感化：
  • 将目的检测后果可视化到输出图象上，并前往可视化后的图象。
• 参数：
  • input_mat (const cv::Mat&): 输出图象。
  • output_image (cv::Mat&): 输入图象，包括标注后的后果。
  • results (const std::vectorlockzhiner_vision_module::vision::DetectionResult&): 检测后果列表。
  • labels (const std::vectorstd::string&): 可选的标签列表，用于标注种别称号，默许为空。
  • font_scale (float): 字体巨细比例，默许为 0.4。
• 前往值：
  • 无

3. 示例代码剖析

3.1 流程图

开端

|

|-- 反省参数个数能否为2

|   |-- 没有是 - > 输入 "Usage: Test-PaddleDet model_path" 并前往1

|

|-- 初初化模子

|   |-- 掉败 - > 输入 "Failed to initialize model." 并前往1

|

|-- 初初化编纂模块

|   |-- 掉败 - > 输入 "Error: Failed to start and accept connection." 并前往EXIT_FAILURE

|   |-- 胜利 - > 输入 "Device connected successfully."

|

|-- 翻开摄像头

|   |-- 设置分辩率 (640x480)

|   |-- 翻开摄像头掉败 - > 输入 "Error: Could not open camera." 并前往1

|

|-- 进进有限轮回

|   |

|   |-- 捕捉一帧图象

|   |   |-- 图象为空 - > 输入 "Warning: Captured an empty frame." 并持续下一次轮回

|   |

|   |-- 挪用模子停止猜测

|   |   |-- 记载开端工夫

|   |   |-- 获得猜测后果

|   |   |-- 记载完毕工夫

|   |

|   |-- 计较推理工夫

|   |   |-- 输入 "Inference time: X ms"

|   |

|   |-- 可视化后果

|   |   |-- 创立输入图象

|   |   |-- 挪用可视化函数

|   |

|   |-- 挨印输入图象

|

|-- 开释摄像头资本

|

|-- 顺序一般加入 (前往0)

3.2 中心代码剖析

• 初初化模子

lockzhiner_vision_module::vision::PaddleDet model;

if (!model.Initialize(argv[1])) {

    std::cout < < "Failed to initialize model." < < std::endl;

    return 1;

}

• 模子推理

auto results = model.Predict(input_mat);

• 可视化推理后果

cv::Mat output_image;

lockzhiner_vision_module::vision::Visualize(input_mat, output_image, results);


edit.Print(output_image);

[脸色] 面击获得完好源码

4. 编译进程

4.1 编译情况拆建

• 请确保您曾经依照 凌智视觉模块开辟情况拆建指北 准确设置装备摆设了开辟情况。
• 同时以准确衔接开辟板。

4.2 Cmake引见

cmake_minimum_required(VERSION 3.10)


project(D01_test_detection)


set(CMAKE_CXX_STANDARD 17)

set(CMAKE_CXX_STANDARD_REQUIRED ON)


# 界说项目根目次途径

set(PROJECT_ROOT_PATH "${CMAKE_CURRENT_SOURCE_DIR}/../..")

message("PROJECT_ROOT_PATH = " ${PROJECT_ROOT_PATH})


include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")


# 界说 OpenCV SDK 途径

set(OpenCV_ROOT_PATH "${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")

set(OpenCV_DIR "${OpenCV_ROOT_PATH}/lib/cmake/opencv4")

find_package(OpenCV REQUIRED)

set(OPENCV_LIBRARIES "${OpenCV_LIBS}")


# 界说 LockzhinerVisionModule SDK 途径

set(LockzhinerVisionModule_ROOT_PATH "${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")

set(LockzhinerVisionModule_DIR "${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")

find_package(LockzhinerVisionModule REQUIRED)


add_executable(Test-detection test_detection.cc)

target_include_directories(Test-detection PRIVATE ${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})

target_link_libraries(Test-detection PRIVATE ${OPENCV_LIBRARIES} ${LOCKZHINER_VISION_MODULE_LIBRARIES})


install(

    TARGETS Test-detection

    RUNTIME DESTINATION .  

)

4.3 编译项目

运用 Docker Destop 翻开 LockzhinerVisionModule 容器并履行以下号令去编译项目

# 进进Demo地点目次

cd /LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/D01_test_detection

# 创立编译目次

rm -rf build && mkdir build && cd build

# 设置装备摆设穿插编译东西链

export TOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"

# 运用cmake设置装备摆设项目

cmake ..

# 履行编译项目

make -j8 && make install

正在履行完上述号令后，会正在build目次下死成可履行文件。

5. 例程运转示例

5.1 运转

chmod 777 Test-detection

# 正在实践使用的进程中LZ-Picodet需求交换为下载的或许您的rknn模子

./Test-detection LZ-Picodet

5.2 后果展现

• 能够看到我们准确辨认了绿色的圆块，同时挨印了标签战相信度。

6. 总结

本文档具体引见了目的检测的根底常识及 PaddleDetection 的根本观点，并供给了具体的API文档阐明，协助开辟者了解战完成目的检测取可视化功用。经过上述流程，能够构建下效的及时目的检测零碎，知足多种使用场景的需供。

考核编纂 黄宇