Descargue la píldora mirror
docker http://nvcr.io/nvidia/tritonserver:22.07-py3
docker run --gpus all -itd -p8000:8000 -p8001:8001 -p8002:8002 -v /home/ai-developer/server/docs/examples/model_repository/:/models nvcr.io/nvidia/tritonserver:22.07- py3
docker exec-it a5bc bash
tritonserver --model-repository=/modelos --strict-model-config=false
archivo de configuración no esencial
Los formatos admitidos son TrnsorRT, TensorFLOW modelo guardado, los modelos ONNX no requieren config.pbtxt cuando --strict-model-config=false
En la configuración, la plataforma puede completar Tensorrt_plan, onnxruntime_onnx, pytorch_libtorch
backend tensorrt, onnxruntime, pytorch
dims: [ 3,-1,-1 ] -1 representa la dimensión variable
–modelo-control-modelo explícito
clon de git https://github.com/NVIDIA/DeepLearningExamples.git
datos de cd/escuadrón/
Descargar conjunto de datos
sh squad_download.sh
Dirección del archivo de mapeo del modelo
cd /modelos
Descargar la dirección del modelo de demostración
https://catalog.ngc.nvidia.com/orgs/nvidia/models/bert_pyt_ckpt_large_qa_squad11_amp
#Pegar comando
wget wget --content-disposition https://api.ngc.nvidia.com/v2/models/nvidia/bert_pyt_ckpt_large_qa_squad11_amp/versions/19.09.0/zip -O bert_pyt_ckpt_large_qa_squad11_amp_19.09.0.zip
convertir formato
python3 triton/export_model.py
–input-path triton/model.py
–input-type pyt
–output-path $/models/exported_model.onnx
–output-type onnx
–dataloader triton/dataloader.py
–ignore-unknown-parameters
– onnx-opset 13
${FLAG}
–config-file bert_configs/large.json
–checkpoint /models/bert_large_qa.pt
–precision fp16
–vocab-file /models/vocab.txt
–max-seq-length 34
–predict-file / opt/tritonserver/DeepLearningExamples/PyTorch/LanguageModeling/BERT/data/squad/v1.1/dev-v1.1.json
–batch-size 16