著者: Li Yiwei、インテル ネットワークおよびエッジ コンピューティング グループ、デベロッパー リレーションズ マネージャー
この記事では、EIV を使用して 5 行の命令を使用して Intel グラフィックス カードと OpenVINO による AI 開発環境を迅速に構築する方法を紹介し、OpenVINO と Intel グラフィックス カードを使用して Vincent グラフ モデル Stable Diffusion の速度を最適化する方法を簡単に説明します。
EIV (Edge Insight Vision) は、エッジ アプリケーションのコンピューター ビジョンとディープ ラーニング推論用に設計され、インテル® アーキテクチャー用に最適化された、事前に統合された一連のコンポーネントを備えています。これは、コンテナ化されたアーキテクチャまたはスタンドアロン ランタイムとして実装されます。
このパッケージには、インテル® グラフィックス・ドライバーをインストールし、インテル・プロセッサーおよびインテル・グラフィックス・デバイス上で OpenVINO™ 推論用の環境をセットアップするためのスクリプトが含まれています。
動作原理
EIV は、コンピューター ビジョンとディープ ラーニングのワークロードをエッジに展開するための、コンテナー化されたアーキテクチャまたはスタンドアロン ランタイムとして実装された、事前検証されたモジュールのセットです。このパッケージには、インテル® アーキテクチャーに最適化されたコンピューター・ビジョンおよびディープラーニング・アプリケーション用の OpenVINO™ ツール・スイートのインテル® ディストリビューションが含まれています。
図1 : Visual Edge Insight モジュール
EIV は3 つの主要なモジュールをインストールします
- ドッカー
- インテル® GPU ドライバー
- OpenVINO™ ツールキットのインテル® ディストリビューション (OpenVINO™) Docker イメージ 2023.0
スタートガイド
このステップバイステップ ガイドに従って、ターゲット システムの Linux* にインテル® EIV をインストールします。このガイドを完了すると、インテル® プロセッサー、iGPU、およびインテル® Rivux™ グラフィックスでサンプル アプリケーションを試す準備が整います。
推奨システム要件
- プロセッサ:
- 第 10 世代 – 第 13 世代インテル® Core™ プロセッサー
- インテル® プロセッサー N シリーズ
- インテル® Core™ i3 プロセッサー N シリーズ
- インテル® Sharp™ A シリーズ グラフィックス
- 少なくとも 8GB RAM
- 少なくとも 64GB のハードドライブ
- インターネット接続
- Ubuntu* 20.04 インテル IoT または Ubuntu* 22.04 インテル IoT
ターゲットシステムの準備
注:プライマリ モニターがdGPUに設定されている場合、 Ubuntu 22.04のインストールはフリーズします。ASUS IoT PE3000Gなどの一部のデバイスには、メイン ディスプレイとしてデフォルトのdGPUが搭載されています。BIOSメニューで、[詳細] -> [グラフィック構成] -> [プライマリ モニター] を選択し、「IGFX」を選択します。変更を保存し、システムを再起動します。次に、Ubuntu 22.04とEIVをインストールします。EIV のインストールが完了した後、 dGPU をプライマリ モニターとして使用したい場合は、 BIOSに移動して「PEGソケット」に戻します。
ターゲット システムに新しいオペレーティング システムがインストールされていることを確認してください。Ubuntu オペレーティング システムをインストールするには、次の手順に従ってください。
Intel ハードウェア用のUbuntu v20.04-IoT または Ubuntu v22.04-IoT デスクトップ ISO ファイルを開発者ワークステーションにダウンロードします。
- balenaEtcherアプリケーションなどのイメージング アプリケーションを使用して、起動可能なフラッシュ ドライブを作成します。
- USB フラッシュ ドライブをフラッシュした後、ターゲット システムの電源をオフにし、USB フラッシュ ドライブを挿入して、ターゲット システムの電源をオンにします。ターゲット システムが USB フラッシュ ドライブから起動しない場合は、システム BIOS で起動優先順位を変更します。
- プロンプトに従って、デフォルト構成でオペレーティング システムをインストールします。詳細な手順については、このガイドを参照してください。
- プロキシ環境では、/etc/environment にプロキシが設定されていることを確認してください。
EVIを含むグラフィックス カード ドライバーのインストール
( Ubuntu 22.04がすでにインストールされている場合は、ここから直接インストールしてください)
ターゲット システムで次のコマンドを実行して、EIV をインストールします。
1. git をインストールし、EIV リポジトリを Ubuntu システムに git clone します。
sudo apt -y install git
Git clone https://github.com/intel/edge-insights-vision.git2. システム上のソフトウェア パッケージを更新します。
sudo apt-get update3. python3-pip をインストールします。
sudo apt-get -y install python3-pip4. ディレクトリをedge-insights-visionに変更し、必要なパッケージをインストールします。
cd edge-insights-vision
pip3 install -r requirements.txt
図2 : インストール要件パッケージ
5. EIV をインストールします。
システムに dGPU が搭載されている場合は、カーネルが 6.2.8 にアップグレードされ、インストール中にシステムが再起動します。再起動しても100％にならない場合は、再度このコマンドを実行してください（再起動が必要なため、インストールを開始する前に作業内容を保存してください）。
python3 eiv_install.pyPS. 中国のユーザーは、eiv_install.py ファイルの 25 行目を def connect(host='http://google.com'): から def connect(host='https://baidu.com'): に変更してください。
6. インストールが完了したら、システムを再起動します。
図 3: EIV の正常なインストール
GPU ドライバーにバージョンが表示されない場合は、システムを再起動し、このコマンドを実行してドライバーのバージョンを表示します。
clinfo | grep 'Driver Version'Jupyter Notebook チュートリアルの実行
以下の手順に従って Jupyter ノートブックを起動し、基本チュートリアルを実行して、ターゲット システムが適切に動作していることを確認します。
1. インストールが成功したら、launch_notebooks.sh スクリプトを実行可能ファイルに変更し、次のようにランチャー スクリプトを実行します。
cd edge-insights-vision
chmod +x launch_notebooks.sh
./launch_notebooks.sh2. ブラウザを開いて、以下の強調表示された URLを貼り付けて、 Jupyter Notebookを開きます 。
図4: launch_notebooks.sh の出力
3. ブラウザに次のページが表示された場合は、すべての OpenVINOノートブックを使用する準備ができていることを意味します。
図5: ブラウザ内の Jupyter Notebook
4. 「ノートブック」フォルダーを開くと、使用可能なすべてのノートブックのリストが表示されます。
5. ノートブック 236-stable-diffusion-v2/236-stable-diffusion-v2-optimum-demo-comparison.ipynb
6. テキストの説明から画像を生成でき、CPU と独立した GPU で異なるパイプラインを実行するときのパフォーマンスを比較するのに役立ちます。
7. [利用可能なデバイス情報の表示] ステップでは、この PC 上で推論に利用できるすべてのデバイスが表示されます。私のコンピューターにはディスクリート GPU がインストールされているため、リストには GPU.1 Intel (R) Arc (TM) Pro A40/A50 が含まれています。
8. このノートブックで実行される最初のモデルは、Hugging Face でホストされている事前トレーニング済みの Pytorch モデルです。https://huggingface.co/stabilityai/stable-diffusion-2-1 本機では標準のStable Diffusion Pipelineを使用してCPU上で実行します。
9. 以下に示すように、テキストの説明から画像が生成されます。私のコンピューターでの推論には約2分かかります。
10. 次のステップは、OpenVINO を使用した安定拡散です。これを行うには、同じモデルを OpenVINO IR (中間表現) 形式に変換し、OpenVINO 安定拡散パイプラインを使用します。推論には CPU が使用されます。
使用前と比較すると、わずか1分16秒と大幅な速度向上が見られました。そのため、OpenVINO Stable Diffusion Pipelineを適用するだけで、パフォーマンスが2倍近く向上します。
11. 最後の実験は、新しく取り付けたグラフィックス カードで Stable Diffusion を実行することです。GPU を推論デバイスとして設定し、次のコード行を実行します。
新しい赤い車とさらなる性能向上が森の中で見られます！今回は 43 秒しかかかりません。これは、元の 2 分から 60% 以上の改善です。
要約する
この記事では、EIV を使用して、Intel グラフィック カードと OpenVINO を含む AI 開発環境を 5 行の命令で迅速に構築する方法を紹介します。また、Vincent グラフ モデルの安定拡散を使用して、OpenVINO が推論速度を最適化する方法を説明します。
さらに多くの画像の生成、OpenVINO の学習、デバイス上で生成された AI のパフォーマンスの評価に興味がある場合は、https://github.com/intel/edge-insights-vision にアクセスして、OpenVINO を自分で実行してみることをお勧めします。