【聆思CSK6 视觉AI开发套件试用】体验头肩检测和手势识别初体验

本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站。作者:胖墩墩

一、CSK6芯片简介

CSK6 是聆思科技新一代的 AI 芯片 SoC 产品系列,采用多核异构架构,集成了 ARM Star MCU,HiFi4 DSP,以及聆思全新设计的 AI 神经网络处理内核 NPU,算力达到 128 GOPS。多核异构的设计使芯片能以较低功耗满足音频及图像视频的 AI 应用需求。

快来康康本次试用的主板的模样和各部分功能,视觉模块在另一部分。

完整的板子套件是这样的,非常棒!还有网络模组(C3网络模块)。

二、开发环境安装与实践

本次开发的环境是在window10的环境下进行的,在开发的过程非常的顺利,不得不说这是我用的最丝滑的开发板之一。上手非常的快,官网的教程也写的非常棒,跟着文档一步步去实现正常都能实现效果。

1、安装git;
2、安装CSK6一键安装包,安装包1.8G左右,得耐心下载;

CSK6一键安装包 是面向 Windows 操作系统的 CSK6 开发环境集成安装包,本安装包会完成CSK6开发环境搭建、SDK部署等一系列操作,方便您快速拥有一个可以即刻进入业务开发阶段的环境。

3、检查开发环境:lisa info zep
4、创建程序:lisa zep create
5、编写“hello_world”第一行代码。
6、编译程序:先cd到cd hello_world程序目录,尔后输入lisa zep build -b csk6011a_nano
7、烧写程序:lisa zep flash
8、用串口调试助手查看输出结果。

主程序代码:

#include <zephyr/zephyr.h>

 void main(void)
 {
    printk("Hello World! %s\n", CONFIG_SOC);
 }

三、视觉能力与构思

原本的初衷是想利用API进行人脸识别,如果是正确的人脸则可以打开门锁的SDK。研究了一下官网的文档之后觉得还有一些技术问题还没思路,暂时先体验一下头肩检测和手势识别。分别为LIKE( )、OK( )、STOP( )、YES(✌️)、SIX( );

1、安装vscode;
2、安装扩展插件,csk-application-develop-plugin
3、下载代码lisa zep create --from-git https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git
4、在vscode插件中配置烧录程序的套件型号;
5、开启PC端预览功能,打开项目的根目录下找到 的 prj.conf 文件,将 CONFIG_WEBUSB=n 改为CONFIG_WEBUSB=y。
6、编译固件,lisa zep build -b csk6011a_nano
7、编译程序;
8、烧录程序;

9、获取PC端测试工具,git clone https://cloud.listenai.com/zephyr/applications/csk_view_finder_spd.git
10、使用 Chrome 内核的浏览器,打开项目 csk_view_finder_spd/src 目录下的 index.html 文件;
11、安装驱动,并把数据线插入到开发板的左边接口。
12、连接设备,开始测试。
13、识别效果展示:

总结:接下来要更深入的研究一下这套件强大的功能,最好能适用网络模块来进行数据传输,也可以将压缩后端资源存储在设备中,进行边缘计算。总体而言设备识别率比较好,除了摄像头是单摄像头拍的照片不是很清晰,其他没什么毛病。有个大胆的建议,不知视觉模块是否可以增加红外摄像头来进行活体检测。

猜你喜欢

转载自blog.csdn.net/weixin_47569031/article/details/129138276