一般的な使用のTF-提供ドッキングウィンドウをインストールした後、鏡を提供する構築ドッキングウィンドウを使用する必要がありTF-提供する一般的な展開を使用して、展開の深さの学習モデルを。
すべてのリソースのGPUの展開におけるサービスのデフォルト、GPUは使用に、ミラーカード番号の一部を指定することができますが、GPUリソースを占有サービスの割合を指定することはできません。
推論プロセスモデルは、前処理工程は、サービスの外に配置する必要があり、前処理データを必要とする、あなたは、新しいサービスを作成するために、背景や法によりシェルスクリプトを呼び出すことができます。
あなたはTF-サービス提供の展開モデルとコードしない場合は、使用したGPUリソースモデルを指定することができますが、実験はスピードを推論のこの方法は、高速TF-サービス提供ではないことを示しているので、サービスモデルを呼び出すフラスコを通じて、ドッカコンテナを配置することができます。
あなたは、GPUリソースの一片を利用したい場合は、個人的に私は複数のモデルがTF-提供する限り、複数のモデルが同時にこれ以上のGPU、GPUリソースの単一の部品よりも占めるよう可能で展開することができると思います。
要約で
| 優位 | 恵まれません | 改善します | |
| 使用TF-提供 | 高速プロセスを推論、追加のサービスを書きません | デフォルトでは、すべてのリソースのGPUを占有します | 複数のモデルを展開したサービスが、リソースGPUモデル占有の割合を決定することができません |
| 使用していません | GPUは会計リソースを割り当てることができます | 遅く推論過程、追加書き込みサービスインターフェイス | ノー |