TritonServer の複数モデルのデプロイメントをマルチ GPU の落とし穴に記録する

1. 問題が発見された経緯

chatglm2 および llama2 を 4*V100 GPU マシンにデプロイするときに問題が発生する

config.pbtxt

指定された GPU にモデルを個別にデプロイするように構成されたインスタンス構成は有効になりません。

次の構成は、このモデルを gpu0 にデプロイし、count=1 インスタンスをデプロイし、このモデルを gpu1 にデプロイし、count=2 インスタンスをデプロイします。

インスタンスグループ [ { カウント: 1 種類: KIND_GPU gpus: [ 0 ] },

{ カウント: 2

種類: KIND_GPU

GPU: [ 1 ] } ]

デプロイ中に、すべてのモデルインスタンスが gpu0 にデプロイされることがわかりました。GPU には 16g のビデオメモリしかないため、最初のモデルインスタンスが正常にデプロイされた後、2 番目のモデルインスタンスも gpu0 にロードされ、最終的に cuda がアウトになります。メモリ。

オンラインで検索すると、誰かが同じ問題に遭遇していることがわかりました。リンク: https://github.com/triton-inference-server/server/issues/6124

上司は解決策として次のように答えました。

1.model.py の config.pbtxt で構成されている GPU 番号 gpus を手動で取得します: [0]

インスタンスグループ [

{

カウント: 1

種類: KIND_GPU

GPU: [ 0 ]

}

】

2.利用可能なGPU番号を設定します

os.environ["CUDA_VISIBLE_DEVICES"] = str(device_id)

3.正常に起動します

triton を起動するときに、nvidia-smi -l 2 を使用してグラフィックスカードとメモリを監視します。すべてのモデルが最初の GPU、gpu[0] にロードされていることがわかります。また、構成 config.pbtxt がロードされていないことがわかります。有効になります。

著者: JD Technology Yang Jian

出典：JD Cloud Developer Community 転載の際は出典を明記してください