【第三届】：“玄铁杯”RISC-V应用创新大赛（基于yolov5和OpenCv算法

文章目录

前言

前言

最近参加了第三届“玄铁杯”RISC-V应用创新大赛，我的创意题目是基于 yolov5和OpenCv算法 — 智能警戒哨兵

先介绍一下比赛：如下

赛事介绍：

玄铁杯全球RISC-V应用创新大赛，由芯片开放社区发起，已连续举办至第三届。过去两年，大赛共吸引近3000名开发者参赛，产生500余份创意方案，涵盖工业智能、泛机器人、视觉及可穿戴设备、车载设备、碳中和、智慧社区、智慧家居等领域。

一、智能警戒哨兵是什么？

创意方案主题：智能警戒哨兵系统

方案：矽速 · LicheePi 4A + 智能警戒哨兵 + 崇德队

一、智能警戒哨兵 — 创意设计方案背景

在现代社会中，交通安全一直是人们关注的重要问题之一。吸烟驾驶和疲劳驾驶是导致交通事故的常见原因之一，对驾驶员和乘客的生命安全构成威胁。为了提高道路安全，并减少交通事故的发生，我们需要一种创新的方法来监测车内吸烟行为和主驾驶员的疲劳程度。

基于这个背景，我们提出了一种创意设计，利用矽速·LicheePi 4A开发板和摄像头来制作一个车内吸烟及主驾驶员是否疲劳驾驶的监测系统。该系统旨在通过实时监测车内吸烟行为以及主驾驶员的疲劳程度，提供及时的警示和提醒，以保障驾驶安全。

通过图像处理算法和计算机视觉技术，我们可以对摄像头捕获的图像进行分析和处理。针对司机疲劳驾驶程度，并及时发出警报。

二、智能警戒哨兵 — 硬件设计

1. 矽速·LicheePi 4A开发板：作为核心处理器，提供强大的计算能力和丰富的接口。

2. 语音模块，用于语音提示和报警

3. USB摄像头

5. 显示屏显示模块

三、智能警戒哨兵 — 主要软件设计

在智能警戒哨兵的软件设计中，主要涉及领域：疲劳检测。这两个领域通过图像处理和计算机视觉算法相互交互，实现对驾驶员行为的监测和分析，以提供准确的警示和提醒。

在疲劳检测领域，系统使用图像处理算法来实时分析驾驶员的眼睛状态、面部表情和头部姿态，以判断是否处于疲劳状态。具体的交互过程可以描述如下：

1.驾驶员眼睛状态监测：系统通过图像处理算法实时分析驾驶员的眼睛状态，监测眼睛的闭合频率和眨眼频率。如果检测到驾驶员的眼睛频繁闭合或眨眼频率降低，系统将判断驾驶员处于疲劳状态。

2.驾驶员面部表情分析：系统利用面部表情识别算法分析驾驶员的面部表情，例如嘴巴的张合程度和眉毛的位置。如果检测到驾驶员的嘴巴关闭时间较长或眉毛位置下降，系统将判断驾驶员处于疲劳状态。

3. 头部姿态监测：系统通过头部姿态识别算法实时监测驾驶员的头部姿态，检测头部是否开始下沉。如果检测到驾驶员头部姿态下沉，系统将判断驾驶员处于疲劳状态。

系统能够实时监测驾驶员的疲劳状态，并根据分析结果提供相应的警示和提醒。这种交互的人体+数据分析能力的整合使得系统能够准确地判断驾驶员的状态，提高道路安全性并降低交通事故的发生率。

二、方案流程图

三、硬件方案

板卡介绍：

LicheePi 4A 是基于 Lichee Module 4A 核心板的高性能 RISC-V Linux 开发板，以 TH1520 为主控核心（[email protected]， RV64GCV，4TOPS@int8 NPU， 50GFLOP GPU），板载最大 16GB 64bit LPDDR4X，128GB eMMC，支持 HDMI+MIPI 双4K 显示输出，支持 4K 摄像头接入，双千兆网口（其中一个支持POE供电）和 4 个 USB3.0 接口，多种音频输入输出（由专用 C906 核心处理）。

LicheePi 4A 是截止目前（2023Q2）为止最强的 RISC-V SBC。性能约为上一代 RISC-V SBC VisionFive2的2倍；未开启专用指令集加速的情况下，性能逼近基于 ARM A72 的树莓派 4，在开启相关指令集加速的情况下，可以与树莓派 4 持平。而且最高具备 16GB 超大内存，是树莓派 4 最高配置 8GB 内存的两倍！

我个人使用实物图：

我个人使用usb摄像头：

四、软件方案

由window电脑pycharm编写程序，再由XFTP软件将程序放入licheepi 4A中，运行程序，由VNC远程桌面查看运行效果。

对坐标进行判断。

疲劳驾驶检测系统的实现。它使用了图像处理库OpenCV和人脸识别库dlib来实时监测驾驶员的疲劳状态。系统通过摄像头捕获驾驶员的面部图像，然后分析眨眼频率、打哈欠频率等指标来评估驾驶员的疲劳程度。根据评估结果，系统会在界面上显示实时变化图表，并通过语音播报警告驾驶员。整个系统使用了wxPython构建了一个GUI界面，包括了图表展示、语音播报等功能。