【Lensing CSK6 Visual AI Development Kit Trial】頭と肩の検出とジェスチャー認識を初体験

この記事は、Jishu Community と Lesi Technology が主催する CSK6 ビジュアル AI 開発キットの活動からのものです. 開発ボードのトライアル活動については、Jishu Community の Web サイトを参照してください. 作者：ファットピア

1. CSK6 チップの紹介

CSK6は、Lens Technologyの新世代のAIチップSoC製品シリーズであり、マルチコア異種アーキテクチャを採用し、ARM Star MCU、HiFi4 DSP、およびLensの新しく設計されたAIニューラルネットワーク処理コアNPUを統合し、128の計算能力を備えています。 GOPS。マルチコアのヘテロジニアス設計により、チップは低消費電力でオーディオ、画像、ビデオの AI アプリケーション要件を満たすことができます。

今回はKangkangに来て、マザーボードの外観と各部の機能を試してみてください.ビジュアルモジュールは別の部分にあります.

コンプリートボードキットはこんな感じ、いいですね！ネットワークモジュール (C3 ネットワークモジュール) もあります。

2. 開発環境のインストールと実践

今回の開発環境はwindow10の環境で行いましたが、開発プロセスは非常にスムーズで、今まで使った開発ボードの中で1番スムーズと言わざるを得ません。開始するのは非常に速く、公式ウェブサイトのチュートリアルも非常によく書かれています. 通常の結果を達成するために、ドキュメントに順を追って従ってください.

1. git をインストールします;
2. CSK6 ワンクリックインストールパッケージをインストールします。インストールパッケージは約 1.8G で、辛抱強くダウンロードする必要があります。

CSK6 ワンクリックインストールパッケージは、CSK6 開発環境の Windows オペレーティングシステム用の統合インストールパッケージです. このインストールパッケージは、CSK6 開発環境の構築および SDK 展開などの一連の操作を完了するため、迅速にすぐに事業開発ステージに入ることができる環境を整えています。

3. 開発環境を確認します。lisa info zep
4. プログラムを作成します。lisa zep create
5. 「hello_world」のコードの最初の行を記述します。
6. プログラムをコンパイルします。最初に cd をcd hello_worldプログラムディレクトリに移動してから、lisa zep build -b csk6011a_nano
7 を入力します。プログラムを書き込みます。lisa zep flash
8. シリアルポートデバッグアシスタントを使用して、出力結果を確認します。

メインプログラムコード:

#include <zephyr/zephyr.h>

 void main(void)
 {
    printk("Hello World! %s\n", CONFIG_SOC);
 }

3. 視覚能力と概念

元々の意図は、API を使用して顔認識を行うことでしたが、顔が正しい場合、ドアロックの SDK を開くことができます。公式サイトのドキュメントを読んで、まだ考えていない技術的な問題がいくつかあると感じました. とりあえず、頭と肩の検出とジェスチャー認識を最初に体験します. それらは、LIKE( )、OK( )、STOP( )、YES(✌️)、SIX( ) です。

1. vscode をインストールします;
2. 拡張プラグインをインストールします; csk-application-develop-plugin3.
コードをダウンロードしますlisa zep create --from-git https://cloud.listenai.com/zephyr/applications/app_algo_hsd_sample_for_csk6.git
4. vscode プラグインで書き込みプログラムのキットモデルを設定します;
5. PC プレビュー機能を開き、prj.conf ファイルを開きますプロジェクトのルートディレクトリにある CONFIG_WEBUSB=n を CONFIG_WEBUSB=y に変更します。
6. ファームウェアをコンパイルし、lisa zep build -b csk6011a_nano
7. プログラムをコンパイルし、
8. プログラムを書き込みます。

9. PC 側のテストツールを取得します. git clone https://cloud.listenai.com/zephyr/applications/csk_view_finder_spd.git
10. Chrome カーネルブラウザーを使用して、プロジェクトの csk_view_finder_spd/src ディレクトリにある index.html ファイルを開きます.
11. ドライバーをインストールし、データケーブルを開発の左側のインターフェイスに挿入します.ボード。
12. デバイスを接続し、テストを開始します。
13.認識効果表示：

概要: 次に、このスイートの強力な機能をさらに詳しく調べます. ネットワークモジュールをデータ転送に適用するか、圧縮されたバックエンドリソースをエッジコンピューティング用のデバイスに保存するのが最適です. 一般的に言えば、デバイスの認識率は比較的良好ですが、単一のカメラで撮影した写真があまり鮮明ではないことを除けば、何も問題はありません。大胆な提案があります。ビジョンモジュールにライブ検出用の赤外線カメラを追加できるかどうかです。