TensorFlowは、マルチモデルの展開にサービスを提供し、モデルの異なるバージョンを呼び出します

前提は：マルチモデルの導入を実現するために、我々は最初に理解し、熟練した、単一の展開モデルを実現するには、ドキュメントの公式ウェブサイトを利用することができ、ドッカー展開を実現使用する必要があります。

1.まず、あなたがマルチモデル/フォルダ（フォルダ名は任意に撮影することができます）で統一配備する必要がある2つのモデルを用意し、次のように、ディレクトリ構造は次のとおりです。

マルチモデル/ 
├──MODEL1 
│└── 00000123 
│├──saved_model.pb 
│└──変数
│├──variables.data -00000-の-00001 
│└──variables.index 
├──MODEL2 
│└─ ─ 00000123 
│├──saved_model.pb 
│└──変数
│├──variables.data -00000-の-00001 
│└──variables.index 
└──models.config

2.次のように、models.configプロファイルマルチモデル/ディレクトリを作成します。

model_config_list：{ 
    設定：{ 
      名：" MODEL1 " 、
      BASE_PATH：" /モデル/マルチモデル/ MODEL1 " 、
      model_platform：" tensorflow " 
    }、
    設定：{ 
      名：" MODEL2 " 、
      BASE_PATH：" /モデル/マルチモデル/ MODEL2 " 、
      model_platform：「tensorflow 」
    }、
} 

＃注：
   以前のBASE_PATHパス/モデル/固定文言、モデルのディレクトリパスの後ろに自分の名前を書きます
   否则报错：FileSystemStoragePathSourceは、ファイルシステムへのアクセスエラーが発生しました：サービス提供可能なMODEL1について見つかりませんでしたベースパス/ home /ノード1 /モデル/マルチモデル/ MODEL1

コンフィギュレーション・ファイルのパス名は現在実行して、TF-提供するコンテナをモデルとコンテナ内のモデルを定義します。

8501 -p sudoのドッキングウィンドウの実行：8501 --mountタイプ=バインド、ソース= /ホーム/ノード1 /モデル/マルチモデル/、ターゲット= /モデル/マルチモデル-t tensorflow /提供：最新のGPU --model_config_file = /モデル/マルチモデル/models.config 

＃注：
taget 1の後ろに書き込み、全パスモデルである、シングルモードといくつかの相違点は、単一モード経路の特定のモデルに書き込まれ、
フロントパスプロファイルは言葉遣い2 --model_config_file背後に固定されています。 /モデル/プロファイルのパスに続いて、ライトの絶対または相対パスがmodels.configを見つけることがあれば、ファイルまたはパスを見つけることができない不満であろう。

4.最後に、そのようなインタフェースを見て、ビューのGPUは、すでに占領し、複数のモデルが正常にデプロイされたことを示します。

------------------------------ -----------------指定されたモデルのバージョン-----------------------

複数のモデルのバージョン、および指定されたモデルの予測されたバージョンは、以下の方法で実施することができるという希望がある場合。
変更model.configファイル、追加model_version_policyパラメータ：

model_config_list：{ 
    設定：{ 
      名：" モデル1 " 、
      BASE_PATH：" /モデル/マルチモデル/ MODEL1 " 、
      model_platform：" tensorflow " 、
      model_version_policy：{ 
        すべての：{} 
      } 
    }、
    設定：{ 
      名：" MODEL2 " 、
      BASE_PATH。" /モデル/マルチモデル/ MODEL2 " 、
      model_platform：" tensorflow " 
    } 
}

ときに、要求が予測可能、あなたが修正要求URL限り、モデルの00000124版のために使用したい場合は：

URL = ' のhttp：//公网IP：8501 / V1 /モデル/ MODEL1 /バージョン/ 00000124：予測'

コンテナを実行した後、ホスト/ホーム/ノード1 /モデル/マルチモデル/ MODEL1 /ファイルの00000124 /などの新しいモデルファイルフォルダ場合、tfservingは自動的に新しいモデルをロードします。同様に、既存モデルの除去場合、またtfserving自動的にモデルをアンインストールします。

これらの文書のリファレンス：https://blog.csdn.net/JerryZhang__/article/details/86516428 感謝〜

マルチモデルの展開が再発された、モデルの一時的なバージョンは、この必要性は再現しませ持っていない〜

TensorFlowは、マルチモデルの展開にサービスを提供し、モデルの異なるバージョンを呼び出します

おすすめ