Autor : Li Yiwei, gerente de relações com desenvolvedores, divisão de rede e computação de borda, Intel
Este artigo apresentará como usar EIV para construir rapidamente um ambiente de desenvolvimento de IA com placas gráficas Intel e OpenVINO usando 5 linhas de instruções e explicará brevemente como usar OpenVINO e placas gráficas Intel para otimizar a velocidade do modelo de gráfico Vincent Stable Diffusion.
EIV (Edge Insight Vision) apresenta um conjunto de componentes pré-integrados projetados para visão computacional e inferência de aprendizado profundo para aplicativos de ponta e otimizados para arquitetura Intel®. Ele é implementado como uma arquitetura em contêiner ou como um tempo de execução independente.
Este pacote contém scripts para instalar o driver de gráficos Intel® e configurar o ambiente para inferência OpenVINO™ em processadores Intel e dispositivos de gráficos Intel.
princípio de trabalho
EIV é um conjunto de módulos pré-validados, implementados como uma arquitetura em contêiner ou tempo de execução independente, para implantar visão computacional e cargas de trabalho de aprendizagem profunda na borda. Este pacote contém a distribuição Intel® do conjunto de ferramentas OpenVINO™ para visão computacional e aplicativos de aprendizagem profunda otimizados para a arquitetura Intel®.
Figura 1 : Módulo de insight visual de borda
EIV instala três módulos principais
- Docker
- Drivers de GPU Intel®
- A distribuição Intel® do kit de ferramentas OpenVINO™ (OpenVINO™) Docker imagem 2023.0
Guia de Introdução
Siga este guia passo a passo para instalar o Intel® EIV no Linux* para seu sistema de destino. Depois de concluir este guia, você estará pronto para experimentar o aplicativo de exemplo em processadores Intel®, iGPUs e gráficos Intel® Sharp™.
Requisitos de sistema recomendados
- processador:
- Processadores Intel® Core™ de 10ª a 13ª geração
- Processador Intel® Série N
- Processador Intel® Core™ i3 série N
- Gráficos Intel® Sharp™ série A
- Pelo menos 8 GB de RAM
- Disco rígido de pelo menos 64 GB
- conexão de internet
- Ubuntu* 20.04 Intel IoT ou Ubuntu* 22.04 Intel IoT
Preparar sistema de destino
Nota: A instalação do Ubuntu 22.04 irá congelar se o monitor primário estiver definido como dGPU . Alguns dispositivos, como ASUS IoT PE3000G, têm um dGPU padrão como tela principal. No menu BIOS , selecione Avançado -> Configuração gráfica -> Monitor primário e selecione "IGFX" . Salve as alterações e reinicie o sistema. Em seguida, prossiga com a instalação do Ubuntu 22.04 e EIV . Após a conclusão da instalação do EIV , se desejar usar o dGPU como monitor principal, vá para o BIOS e volte para "PEG Socket " .
Certifique-se de que o sistema de destino tenha uma nova instalação de sistema operacional. Siga as etapas abaixo para instalar o sistema operacional Ubuntu:
Baixe o arquivo ISO do Ubuntu v20.04-IoT ou Ubuntu v22.04-IoT Desktop para hardware Intel para sua estação de trabalho de desenvolvedor.
- Crie uma unidade flash inicializável usando um aplicativo de imagem como o aplicativo balenaEtcher .
- Depois de atualizar a unidade flash USB, desligue o sistema de destino, insira a unidade flash USB e ligue o sistema de destino. Se o sistema de destino não inicializar a partir da unidade flash USB, altere a prioridade de inicialização no BIOS do sistema.
- Siga as instruções para instalar o sistema operacional com configuração padrão. Consulte este guia para obter instruções detalhadas .
- Em um ambiente proxy, certifique-se de que o proxy esteja configurado em /etc/environment.
Instalação do driver da placa gráfica incluindo EVI
(Se o Ubuntu 22.04 já estiver instalado , instale-o diretamente daqui)
Execute o seguinte comando no sistema de destino para instalar o EIV.
1. Instale o git e git clone o repositório EIV no sistema Ubuntu.
sudo apt -y install git
Git clone https://github.com/intel/edge-insights-vision.git2. Atualize os pacotes de software no sistema.
sudo apt-get update3. Instale python3-pip.
sudo apt-get -y install python3-pip4. Mude o diretório para edge-insights-vision e instale o pacote necessário.
cd edge-insights-vision
pip3 install -r requirements.txt
Figura 2 : Pacote de requisitos de instalação
5. Instale o EIV.
Se o seu sistema tiver um dGPU, ele atualizará seu kernel para 6.2.8 e seu sistema será reinicializado durante a instalação. Se não funcionar 100% após a reinicialização, repita este comando (salve seu trabalho antes de iniciar a instalação, pois requer uma reinicialização).
python3 eiv_install.pyPS. Para usuários na China, altere a linha 25 do arquivo eiv_install.py de def connect(host='http://google.com'): para def connect(host='https://baidu.com') :
6. Reinicie o sistema após a conclusão da instalação.
Figura 3: EIV instalado com sucesso
Se o driver da GPU não mostrar uma versão, reinicie o sistema e execute este comando para ver a versão do driver.
clinfo | grep 'Driver Version'Tutorial de execução do notebook Jupyter
Siga as etapas abaixo para iniciar um notebook Jupyter e executar o tutorial básico para verificar se o sistema de destino está funcionando.
1. Após a instalação bem-sucedida, altere o script launch_notebooks.sh para um arquivo executável e execute o script do inicializador da seguinte forma :
cd edge-insights-vision
chmod +x launch_notebooks.sh
./launch_notebooks.sh2. Abra seu navegador e cole o URL destacado abaixo para abrir o Jupyter Notebook.
Figura 4: Saída de launch_notebooks.sh
3. Se você vir a página a seguir em seu navegador, significa que todos os notebooks OpenVINO estão disponíveis para uso.
Etapa 5: Jupyter Notebook no navegador
4. Se você abrir a pasta " cadernos ", poderá ver uma lista de todos os cadernos disponíveis.
5. Notebook 236-stable-diffusion-v2/236-stable-diffusion-v2-optimum-demo-comparison.ipynb
6. Permite a geração de imagens a partir de descrições de texto e ajuda a comparar o desempenho de diferentes pipelines executados em CPU e GPU discreta.
7. Na etapa “Mostrar informações de dispositivos disponíveis”, você pode ver todos os dispositivos que estão disponíveis para inferência neste PC. Como tenho uma GPU discreta instalada em meu computador, tenho GPU.1 Intel(R) Arc(TM) Pro A40/A50 na lista.
8. O primeiro modelo executado neste notebook é um modelo Pytorch pré-treinado hospedado no Hugging Face . https://huggingface.co/stabilityai/stable-diffusion-2-1 Nesta unidade, o Stable Diffusion Pipeline padrão é usado para execução na CPU.
9. Ele gera imagens a partir de descrições de texto, conforme mostrado abaixo, e leva cerca de 2 minutos para raciocinar no meu computador .
10. O próximo passo é a Difusão Estável usando OpenVINO. Para fazer isso, converta o mesmo modelo para o formato OpenVINO IR (Representação Intermediária) e use o pipeline OpenVINO Stable Diffusion. A CPU é usada para inferência.
Em comparação com antes do uso, houve uma melhoria significativa na velocidade, apenas 1 minuto e 16 segundos. Portanto, apenas aplicando o OpenVINO Stable Diffusion Pipeline, o desempenho é melhorado em quase 2 vezes.
11. A última experiência é executar o Stable Diffusion na placa gráfica recém-instalada. Configure a GPU como um dispositivo de inferência e execute estas linhas de código
Novos carros vermelhos e outras melhorias de desempenho podem ser vistos na floresta! Desta vez leva apenas 43 segundos, o que representa uma melhoria de mais de 60% em comparação com os 2 minutos originais.
Resumir
Este artigo apresenta como usar o EIV para construir rapidamente um ambiente de desenvolvimento de IA contendo placas gráficas Intel e OpenVINO com 5 linhas de instruções. E usando o modelo de gráfico Vincent Stable Diffusion para explicar como o OpenVINO otimiza sua velocidade de inferência
Se você estiver interessado em gerar mais imagens, aprender OpenVINO e avaliar o desempenho da IA gerada em seu dispositivo, recomendo que você visite https://github.com/intel/edge-insights-vision e tente executar o OpenVINO você mesmo!