RaspberryPiでODAS + WindowsリモートWebデモを実現

ODASの紹介

ODAS（Open embeddeD Audition System）は、マイクアレイ上のさまざまな音源を識別、分離、追跡するために使用される音源定位システムです。
このモデルの理論的な実現は、主にSSLとSSTの2つの部分に分けられます。前者は異なる音源を分離するために使用され、後者は音源を追跡およびフィルタリングするために使用されます。

ODASの原則

ODASは、空間を単位球に圧縮します（正規化）。音はこの球で処理されます。この球は、主に位置決め（SSL）と追跡（SST）の2つの部分に分けられます。

SSL、音源定位、音源定位

//すべて

SST、音源追跡、音源追跡

//すべて

デモモデルの実装

ODASデモンストレーションは2つのモジュールに分かれています：
ODASコアシステム+ ODASグラフィックデモンストレーションシステム。これら2つのシステムはTCPを介して通信します。つまり、リモートで動作できます。Raspberry Piで実行されているODASグラフィックデモンストレーションシステムはより多くのCPUリソースを消費するため、後者をWindowsに配置し、LANを介してデモンストレーションするためにRaspberryPiにデータをWindowsに送信させます。

サーバー：Windows / Linux上のodasweb

ここではWindowsのインストールを使用します。Linuxで使用するodaswebには、グラフィカルインターフェイスとブラウザが必要ですが、プロセスは似ています。Windowsを参照できます。

step1Node.jsのインストールと構成

まず、Windows用のNode.js v12をインストールします（このバージョンは、クライアントのREADME.mdで指定されています）。
指定したディレクトリにインストールします。パスには中国語の名前は含まれていません。
Node.jsを構成する環境はすでに投稿されているので、繰り返しません。

step2 odaswebのダウンロードとインストール

ODASWebをダウンロードして解凍します。
システム管理者権限でcmdを開き、ODASWebの解凍されたディレクトリを開きます。
デフォルトのnpmダウンロードソース速度は非常に遅いです。小さな飛行機がない場合は、ソースを国内のAliミラーに変更することをお勧めします。オプション1を使用しました。
シナリオ1を使用する場合は、管理者権限でcmdの下のODAS Webディレクトリを開き、cnpm installを実行してコンポーネントのダウンロードを開始します（コマンドでcnpmが内部コマンドではないことを確認する場合は、Node.jsの環境変数が正しく設定されていない可能性があります。手順1を参照してください。投稿を体験するか、cmdの代わりにパワーシェルを使用した可能性があります）;
オプション2を使用する場合は、npminstallを実行します。
インストールを辛抱強く待ちます。
インストールが完了したら、npmstartおよび/またはcnpmstart＆start odaswebを実行します。
次の図では、odas WebでサーバーのIPアドレスを確認したり、odasクライアントの出力IPアドレスとして他の方法でウィンドウのIPを確認したりできます。

クライアント：RaspberryPiのodaslive

Raspberry Pi上で実行されるodasコアは、マイクアレイを介してデータを収集し、ODAS処理を実現し、その結果をリモートグラフィックサーバーodas_webに出力します。
Raspberry Piで次のコマンドを実行して、odasliveをインストールおよびコンパイルします。

# copy form: http://wiki.seeedstudio.com/ReSpeaker_4_Mic_Array_for_Raspberry_Pi/
sudo apt-get install libfftw3-dev libconfig-dev libasound2-dev libgconf-2-4
sudo apt-get install cmake
git clone https://github.com/introlab/odas.git
mkdir odas/build
cd odas/build
cmake ..
make
# 编译成功后，回到odas目录
cd ..

コンパイル後、プログラムを実行します：bin / odaslive、構成パラメーター：config / odaslive / select_one.cfg（select_oneはマイクアレイのパラメーターに依存します）、ここでは例として7マイクアレイを使用し、構成ファイルconfig / odaslive / respeakerを使用する必要があります.cfg（またはファイルを参照して自分で作成します）。

vim config/odaslive/respeaker.cfg

「config / odaslive / xxx.cfg」のIPアドレスをODASサーバー側のアドレスに変更します（デフォルトはこのマシンの127.0.0.1です。ここでは、SSLおよびSST構造パラメーターでそれぞれ2つのIPアドレスを変更する必要があることに注意してください）。
config / odaslive / respeaker.cfg
odasを実行します。

# 查看odaslive的使用信息
bin/odaslive -h
# 执行
bin/odaslive -c config/odaslive/respeaker.cfg

IPアドレスを正しく書き込んだ後、接続に失敗した場合は、以下の項目を1つずつ確認してください。

odasliveを実行する前に、odas webが宛先IPのホストで実行されており、正しいポート（デフォルトは9000、9001）でリッスンしていることを確認してください。
ローカルエリアネットワーク内のホストは、他のデバイスによって検出できます。ネットワークとインターネットの設定->接続プロパティの変更->プライベートネットワーク。

接続が成功すると、ODASWebで音源の位置とトラッキング効果を確認できます。
ここに写真の説明を挿入

参照

ODASソースコード
 ODASWebソースコード
 ODASライブソースコード
 ODASペーパー
 ODASon Raspberry Pi