Autor : Li Yiwei, gerente de relaciones con desarrolladores, Intel Network and Edge Computing Group

Este artículo presentará cómo usar EIV para construir rápidamente un entorno de desarrollo de IA con tarjetas gráficas Intel y OpenVINO usando 5 líneas de instrucciones, y explicará brevemente cómo usar OpenVINO y tarjetas gráficas Intel para optimizar la velocidad del modelo de gráfico Vincent Difusión estable.

EIV (Edge Insight Vision) presenta un conjunto de componentes preintegrados diseñados para visión por computadora e inferencia de aprendizaje profundo para aplicaciones de borde y optimizados para la arquitectura Intel®. Se implementa como una arquitectura en contenedores o como un tiempo de ejecución independiente.

Este paquete contiene secuencias de comandos para instalar el controlador de gráficos Intel® y configurar el entorno para la inferencia OpenVINO™ en procesadores Intel y dispositivos de gráficos Intel.

principio de funcionamiento

EIV es un conjunto de módulos validados previamente, implementados como una arquitectura en contenedores o tiempo de ejecución independiente, para implementar cargas de trabajo de aprendizaje profundo y visión por computadora en el borde. Este paquete contiene la distribución Intel® del conjunto de herramientas OpenVINO™ para aplicaciones de visión por computadora y aprendizaje profundo optimizadas para la arquitectura Intel®.

Figura 1 : Módulo de conocimiento visual del borde

EIV instala tres módulos principales

Estibador
Controladores de GPU Intel®
La distribución Intel® del kit de herramientas OpenVINO™ (OpenVINO™) Docker image 2023.0

Guía de introducción

Siga esta guía paso a paso para instalar Intel® EIV en Linux* para su sistema de destino. Después de completar esta guía, estará listo para probar la aplicación de muestra en procesadores Intel®, iGPU y gráficos Intel® Sharp™.

Requisitos del sistema recomendados

procesador:
- Procesadores Intel® Core™ de 10.ª generación y 13.ª generación
- Procesador Intel® serie N
- Procesador Intel® Core™ i3 serie N
- Gráficos Intel® Sharp™ serie A
Al menos 8 GB de RAM
Disco duro de al menos 64 GB
conexión a Internet
Ubuntu* 20.04 Intel IoT o Ubuntu* 22.04 Intel IoT

Preparar el sistema de destino

Nota: La instalación de Ubuntu 22.04 se congelará si el monitor principal está configurado en dGPU . Algunos dispositivos, como ASUS IoT PE3000G, tienen una dGPU predeterminada como pantalla principal. En el menú del BIOS , seleccione Avanzado -> Configuración de gráficos -> Pantalla principal, luego seleccione "IGFX" . Guarde los cambios y reinicie el sistema. A continuación, procede a instalar Ubuntu 22.04 y EIV . Una vez completada la instalación de EIV, si desea utilizar la dGPU como pantalla principal, vaya al BIOS y vuelva a cambiar a "PEG Slot " .

Asegúrese de que el sistema de destino tenga una instalación de sistema operativo nueva. Siga los pasos a continuación para instalar el sistema operativo Ubuntu:

Descargue el archivo ISO de escritorio Ubuntu v20.04-IoT o Ubuntu v22.04-IoT para hardware Intel en su estación de trabajo de desarrollador.

Cree una unidad flash de arranque utilizando una aplicación de imágenes como la aplicación balenaEtcher .
Después de actualizar la unidad flash USB, apague el sistema de destino, inserte la unidad flash USB y encienda el sistema de destino. Si el sistema de destino no arranca desde la unidad flash USB, cambie la prioridad de arranque en el BIOS del sistema.
Siga las instrucciones para instalar el sistema operativo con la configuración predeterminada. Consulte esta guía para obtener instrucciones detalladas .
En un entorno proxy, asegúrese de que el proxy esté configurado en /etc/environment.

Instalación del controlador de la tarjeta gráfica , incluido EVI

(Si Ubuntu 22.04 ya está instalado , instálelo directamente desde aquí)

Ejecute el siguiente comando en el sistema de destino para instalar EIV.

1. Instale git y git clone el repositorio EIV en el sistema Ubuntu.

sudo apt -y install git

Git clone https://github.com/intel/edge-insights-vision.git

2. Actualice los paquetes de software en el sistema.

sudo apt-get update

3. Instale python3-pip.

sudo apt-get -y install python3-pip

4. Cambie el directorio a edge-insights-vision e instale el paquete de requisitos.

cd edge-insights-vision

pip3 install -r requirements.txt

Figura 2 : Instalación del paquete de requisitos

5. Instale los EIV.

Si su sistema tiene una dGPU, actualizará su kernel a 6.2.8 y su sistema se reiniciará durante la instalación. Si no alcanza el 100% después de reiniciar, repita este comando (dado que es necesario reiniciar, guarde su trabajo antes de comenzar la instalación).

python3 eiv_install.py

PD: Para usuarios de China, cambie la línea 25 del archivo eiv_install.py de def connect(host='http://google.com'): a def connect(host='https://baidu.com') :

6. Reinicie el sistema una vez completada la instalación.

Figura 3: Instalación exitosa de EIV

Si el controlador de GPU no muestra una versión, reinicie el sistema y ejecute este comando para ver la versión del controlador.

clinfo | grep 'Driver Version'

Tutorial sobre la ejecución del cuaderno Jupyter

Siga los pasos a continuación para iniciar una computadora portátil Jupyter y ejecutar el tutorial básico para verificar que el sistema de destino esté funcionando correctamente.

1. Después de una instalación exitosa, cambie el script launch_notebooks.sh a un archivo ejecutable y ejecute el script de inicio de la siguiente manera :

cd edge-insights-vision

chmod +x launch_notebooks.sh

./launch_notebooks.sh

2. Abra su navegador y pegue la URL resaltada a continuación para abrir Jupyter Notebook.

Figura 4: Salida de launch_notebooks.sh

3. Si ve la siguiente página en su navegador, significa que todos los portátiles OpenVINO están listos para usar.

Ejemplo 5: Jupyter Notebook en el navegador

4. Si abre la carpeta " cuadernos ", podrá ver una lista de todos los cuadernos disponibles.

5. Actualizar notebook 236-stable-diffusion-v2/236-stable-diffusion-v2-optimum-demo-comparison.ipynb

6. Permite generar imágenes a partir de descripciones textuales y ayuda a comparar el rendimiento cuando se ejecutan diferentes canalizaciones en CPU y GPU independientes.

7. En el paso "Mostrar información del dispositivo disponible", puede ver todos los dispositivos que están disponibles para realizar inferencias en esta PC. Como tengo una GPU discreta instalada en mi computadora, tengo GPU.1 Intel(R) Arc(TM) Pro A40/A50 en la lista.

8. El primer modelo ejecutado en este cuaderno es un modelo de Pytorch previamente entrenado y alojado en Hugging Face . https://huggingface.co/stabilityai/stable-diffusion-2-1 En esta unidad, se utiliza Stable Diffusion Pipeline estándar para ejecutar en la CPU.

9. Genera imágenes a partir de descripciones de texto, como se muestra a continuación, y tarda aproximadamente 2 minutos en razonar en mi computadora .

10. El siguiente paso es la difusión estable usando OpenVINO. Para hacer esto, convierta el mismo modelo al formato OpenVINO IR (representación intermedia) y use el canal de difusión estable de OpenVINO. La CPU se utiliza para la inferencia.

En comparación con el uso anterior, ha habido una mejora significativa en la velocidad, sólo 1 minuto y 16 segundos. Por lo tanto, con solo aplicar OpenVINO Stable Diffusion Pipeline, el rendimiento mejora casi 2 veces.

11. El último experimento consiste en ejecutar Stable Diffusion en la tarjeta gráfica recién instalada. Configure la GPU como dispositivo de inferencia y ejecute estas líneas de código

¡En el bosque se pueden ver nuevos coches rojos y más mejoras de rendimiento! Esta vez solo se necesitan 43 segundos, lo que supone una mejora de más del 60% en comparación con los 2 minutos originales.

Resumir

Este artículo presenta cómo utilizar EIV para crear rápidamente un entorno de desarrollo de IA que contenga tarjetas gráficas Intel y OpenVINO con 5 líneas de instrucciones. Y utilizando el modelo de gráfico Vincent Difusión estable para explicar cómo OpenVINO optimiza su velocidad de inferencia

Si está interesado en generar más imágenes, aprender OpenVINO y evaluar el rendimiento de la IA generada en su dispositivo, le recomiendo que visite https://github.com/intel/edge-insights-vision e intente ejecutar OpenVINO usted mismo.

Ubuntu 22.04 instala el controlador de gráficos Intel y juega con AIGC