Este artículo proviene de la actividad del kit de desarrollo de IA visual CSK6 organizada por Jishu Community y Lesi Technology. Para obtener más actividades de prueba de la placa de desarrollo, preste atención al sitio web de Jishu Community. Autor: Haifeng
Cámara de conferencia con control de detección de gestos de cabeza y hombro basada en CSK6 para lograr la función de zoom
En primer lugar, me gustaría agradecer a la comunidad Jishu y a Lingsi Technology por su confianza y apoyo. Me siento honrado de utilizar el kit de desarrollo CSK6 Vision AI para el desarrollo y la prueba. El kit tiene sensor de imagen CMOS integrado y control principal, módulo de comunicación, interfaz de depuración, etc., para que pueda comenzar directamente, ahorrando su propio tiempo y energía para hacer placas, y puede concentrarse en la familiarización con el entorno y la investigación del código.
1. Introducción del kit de desarrollo
Este conjunto de placa de desarrollo es una placa de desarrollo ampliable con CSK6011A como núcleo, que se puede ampliar conectando periféricos. El tablero está bien hecho y es fácil de usar. El consumo de energía de control principal de este kit es bajo y está equipado con algoritmos como detección de cabeza y hombro, reconocimiento facial y TTS de voz.Es especialmente adecuado para construir productos prototipo como interacción visual e interacción de voz, y puede fácilmente Juega con varias aplicaciones de IA.
2. Objetivos experimentales
Hoy en día, la función de zoom de muchas cámaras de videoconferencia debe controlarse mediante botones, teclado en serie, software de PC + mouse o control remoto, lo cual es engorroso y costoso de operar. Ahora considere usar la función de reconocimiento de gestos de CSK6 para reemplazar el botón, el teclado, el mouse o el control remoto originales, elimine la dependencia de objetos extraños y use gestos simples para realizar el zoom y el zoom de la cámara, que es fácil y conveniente para operar. Su diagrama de arquitectura es el siguiente:
La cámara maestra se comunica con CSK6 a través de GPIO o puerto serie. Cuando CSK6 detecta un cambio de gesto, puede transmitir el estado o valor al SOC a través del puerto serie o GPIO.Después de que el SOC detecta la información correspondiente, configura su unidad interna de procesamiento de video para ampliar digitalmente la imagen de video o controlar la acción de el motor de la lente externa.
3. Proceso de implementación
1. Descargue e instale el SDK y actualice a la última versión
2. Descargue el paquete de aplicación del algoritmo
3. Modifique el código, compile y espere pacientemente. Después de completar, imprimirá las palabras "construir con éxito"
4. Grabar y compilar la aplicación
5. Modelos en llamas, uno es cabeza y hombros, el otro es gesto.
6. El cable volador está conectado a la placa principal de la cámara controlada. Aquí se usa el control GPIO. Cuando se reconoce el gesto V, se emite un nivel bajo y la cámara recibe un cambio de nivel para realizar un zoom digital. Vuelve al tamaño de imagen original después de hacer zoom 5 veces. ciclo como este
7. Después de instalar el controlador, aparece el visor CSK en la PC
8. Use la herramienta de vista previa para obtener una vista previa de la imagen de CSK6, puede ver que el trabajo es normal
9. Cuando se detecta un gesto en forma de V, el GPIO conectado al CSK6 y el SOC estarán en un nivel bajo, y la cámara de conferencia realizará el zoom digital. Una vez que se detecte un gesto, se acercará una vez
Cuatro Resumen
La suite es muy fácil de usar y está implementada en código de lenguaje C, que es fácil de usar. Los algoritmos han sido preparados por la fábrica original y el grado de reconocimiento es bastante alto. Un chip tan pequeño, sin memoria externa, hace un gran trabajo al implementar dicho algoritmo. El chip y el volumen periférico son pequeños y es fácil de integrar en otros productos. Se puede desarrollar y compilar en el entorno de Windows, lo que ahorra la molestia de construir una máquina virtual. El código es conciso y el árbol de dispositivos es similar al de Linux. Es fácil de modificar. El consumo de energía del chip no es alto y no está caliente al tacto, por lo que se puede aplicar a productos de bajo consumo. La desventaja es que la resolución que admite el chip no es alta y la distancia de detección es un poco corta.