Introducción a ODAS
ODAS (Open EmbeddeD Audition System) es un sistema de localización de fuentes de sonido que se utiliza para identificar, separar y rastrear diferentes fuentes de sonido en una matriz de micrófonos.
La realización teórica del modelo se divide principalmente en dos partes: SSL y SST, la primera se utiliza para separar diferentes fuentes de sonido y la última se utiliza para rastrear y filtrar las fuentes de sonido.
Principio ODAS
ODAS comprime el espacio en una esfera unitaria (normalización), el sonido se procesa en esta esfera, que se divide principalmente en dos partes: posicionamiento (SSL) y seguimiento (SST).
SSL, localización de fuentes de sonido, localización de fuentes de sonido
//TODO
SST, seguimiento de fuente de sonido, seguimiento de fuente de sonido
//TODO
Implementación del modelo de demostración
La demostración de ODAS se divide en dos módulos:
sistema central ODAS + sistema de demostración gráfica ODAS, estos dos sistemas se comunican a través de TCP, es decir, pueden trabajar de forma remota. El sistema de demostración de gráficos ODAS que se ejecuta en la Raspberry Pi consume más recursos de CPU, por lo que coloco este último en Windows y luego dejo que la Raspberry Pi envíe los datos a Windows para la demostración a través de la LAN.
Servidor: web odas en windows / linux
Aquí se usa la instalación de Windows. Linux usa odas web para tener una interfaz gráfica y un navegador, pero el proceso es similar, puede referirse a Windows.
paso1 Instalación y configuración de Node.js
- Primero instale Node.js v12 para Windows (esta versión se especifica en el archivo README.md del cliente);
- Instale en el directorio que especifique, la ruta no incluye el nombre chino;
- El entorno de configuración de Node.js ya se ha publicado , así que no lo repetiré.
paso2 descarga e instalación de odas web
- Descargue ODAS web y descomprímalo;
- Abra cmd con autoridad de administrador del sistema y abra el directorio descomprimido de ODAS web;
- La velocidad de la fuente de descarga npm predeterminada es muy lenta. Si no hay un avión pequeño, se recomienda modificar la fuente al espejo Ali doméstico . Usé la opción 1;
- Si usa el escenario 1, abra el directorio web de ODAS en cmd con derechos de administrador y ejecute cnpm install para comenzar a descargar componentes (si el comando indica que cnpm no es un comando interno, es posible que las variables de entorno de Node.js no estén configuradas correctamente, consulte el paso 1 Experimente la publicación, o tal vez usó Power Shell en lugar de cmd);
- Si usa la opción 2, ejecute npm install;
- Espere pacientemente la instalación;
- Una vez completada la instalación, ejecute npm start & o cnpm start & start odas web;
- En la siguiente figura, puede ver la dirección IP del servidor en la web odas, o verificar la IP de las ventanas de otras formas como la dirección IP de salida del cliente odas.
Cliente: odaslive en Raspberry Pi
El núcleo de odas, que se ejecuta en Raspberry Pi, recopila datos a través de una matriz de micrófonos, realiza el procesamiento de ODAS y envía el resultado al servidor de gráficos remoto odas_web.
Ejecute los siguientes comandos en la Raspberry Pi para instalar y compilar odaslive:
# copy form: http://wiki.seeedstudio.com/ReSpeaker_4_Mic_Array_for_Raspberry_Pi/
sudo apt-get install libfftw3-dev libconfig-dev libasound2-dev libgconf-2-4
sudo apt-get install cmake
git clone https://github.com/introlab/odas.git
mkdir odas/build
cd odas/build
cmake ..
make
# 编译成功后，回到odas目录
cd ..
Después de compilar, ejecute el programa: bin / odaslive, parámetros de configuración: config / odaslive / select_one.cfg (select_one depende de los parámetros de la matriz de micrófonos), aquí usamos la matriz de 7 micrófonos como ejemplo, necesitamos usar el archivo de configuración config / odaslive / respeaker .cfg (o consulte el archivo y escriba uno usted mismo).
vim config/odaslive/respeaker.cfg
Modifique la dirección IP en "config / odaslive / xxx.cfg" a la dirección del lado del servidor ODAS (el valor predeterminado es 127.0.0.1 de esta máquina, tenga en cuenta que es necesario modificar dos direcciones IP aquí , respectivamente, en los parámetros de estructura SSL y SST).
Ejecutar odas:
# 查看odaslive的使用信息
bin/odaslive -h
# 执行
bin/odaslive -c config/odaslive/respeaker.cfg
Si la conexión falla después de que la dirección IP esté escrita correctamente, verifique los siguientes elementos uno por uno:
- Antes de ejecutar odaslive, asegúrese de que odas web se esté ejecutando en el host de la IP de destino y esté escuchando en el puerto correcto (predeterminado 9000, 9001);
- Otros dispositivos pueden descubrir hosts en la red de área local: configuración de red e Internet -> cambiar propiedades de conexión -> red privada;
Una vez que la conexión es exitosa, puede ver la ubicación de la fuente de sonido y el efecto de seguimiento en la web ODAS.
Árbitro
Código fuente ODAS Código fuente
web ODAS Código fuente
vivo
ODAS Papel
ODAS ODAS en Raspberry Pi