Autor: Yang Xuefeng, Embaixador de Inovação da Indústria IoT da Intel
Índice
1.2 Exportar estimativa de pose YOLOv8-Pose Modelo OpenVINO IR
1.1 Introdução
" Usando o OpenVINO para acelerar o modelo de segmentação de instância YOLOv8-Seg no kit de desenvolvimento Intel " apresenta a implantação e avaliação do modelo de segmentação de instância YOLOv8-Seg usando o kit de desenvolvimento OpenVINO™ no kit de desenvolvimento Intel. o Intel Developer Kit OpenVINO™ 2023.0 acelera o modelo de estimativa de pose YOLOv8-Pose (Pose Estimation).
Faça o download do depósito de código de amostra deste artigo primeiro e crie o ambiente de desenvolvimento do programa de raciocínio OpenVINO de YOLOv8 .
git clone https://gitee.com/ppov-nuc/yolov8_openvino.git
1.2 Exportar modelo de estimativa de atitude YOLOv8-Pose OpenVINO IR
Existem cinco modelos de estimativa de pose para YOLOv8-Pose, que são treinados no conjunto de dados COCO Keypoints , conforme mostrado na tabela abaixo.
Primeiro use o comando: yolo export model=yolov8n-pose.pt format=onnx para concluir a exportação do modelo yolov8n-pose.onnx, conforme mostrado na figura abaixo.
Em seguida, use o comando: mo -m yolov8n-pose.onnx --compress_to_fp16 para otimizar e exportar o modelo de formato OpenVINO IR com precisão FP16, conforme mostrado na figura abaixo.
1.3 Use benchmark_app para testar o desempenho de computação de inferência do modelo de estimativa de pose yolov8
benchmark_app é uma ferramenta de teste de desempenho de computação de inferência de modelo AI que vem com o pacote de ferramentas OpenVINOTM . Pode ser especificada em diferentes dispositivos de computação, no modo síncrono ou assíncrono, para testar o desempenho de computação de inferência de modelo AI puro sem pré e pós-processamento.
Use o comando: benchmark_app -m yolov8n-pose.xml -d GPU para obter o desempenho de computação de inferência assíncrona do modelo yolov8n-pose.xml na placa gráfica integrada do Intel Developer Kit , conforme mostrado na figura abaixo.
1.4 Escreva o programa de raciocínio do modelo de estimativa de pose YOLOv8-Pose usando a API OpenVINO Python
Abra yolov8n-seg.onnx com Netron para ver a entrada e a saída do modelo:
- Nome do nó de entrada: " imagens"; dados: float32[1,3,640,640]
- O nome do nó de saída 1: "output0"; dados: float32[1,56,8400], onde "8400" refere-se às 3 cabeças de detecção de YOLOv8 quando imgsz=640, existem 640/8=80, 640/ 16= 40, 640/32=20, 80x80+40x40+20x20=8400 células de saída; "56" refere-se às coordenadas centrais cx, cy, w, h da classe "Pessoa" + a pontuação de confiança da "Pessoa" class + a classe "Pessoa" Os 17 pontos-chave de ([17,3]) = 56.
O código-fonte principal do programa de amostra do modelo de segmentação de instância YOLOv8 yolov8_pose_ov_sync_infer_demo.py baseado na API OpenVINO Python é o seguinte:
# 实例化Core对象
core = Core()
# 载入并编译模型
net = core.compile_model(f'{MODEL_NAME}.xml', device_name="GPU")
# 获得模型输出节点
output_node = net.outputs[0]
ir = net.create_infer_request()
cap = cv2.VideoCapture("store-aisle-detection.mp4")
while True:
start = time.time()
ret, frame = cap.read()
if not ret:
break
[height, width, _] = frame.shape
length = max((height, width))
image = np.zeros((length, length, 3), np.uint8)
image[0:height, 0:width] = frame
scale = length / 640
blob = cv2.dnn.blobFromImage(image, scalefactor=1 / 255, size=(640, 640), swapRB=True)
# 基于OpenVINO实现推理计算
outputs = ir.infer(blob)[output_node]
outputs = np.array([cv2.transpose(outputs[0])])
rows = outputs.shape[1]
# Postprocess
boxes = []
scores = []
preds_kpts = []
for i in range(rows):
classes_scores = outputs[0][i][4]
key_points = outputs[0][i][5:]
if classes_scores >= 0.5:
box = [
outputs[0][i][0] - (0.5 * outputs[0][i][2]), outputs[0][i][1] - (0.5 * outputs[0][i][3]),
outputs[0][i][2], outputs[0][i][3]]
boxes.append(box)
scores.append(classes_scores)
preds_kpts.append(key_points)
result_boxes = cv2.dnn.NMSBoxes(boxes, scores, 0.25, 0.45, 0.5)
detections = []
for i in range(len(result_boxes)):
index = result_boxes[i]
box = boxes[index]
pred_kpts = preds_kpts[index]
detection = {
'class_id': 0,
'class_name': 'person',
'confidence': scores[index],
'box': box,
'scale': scale}
detections.append(detection)
print(box[0] * scale, box[1] * scale, scale)
draw_bounding_box(frame, 0, scores[index], round(box[0] * scale), round(box[1] * scale),
round((box[0] + box[2]) * scale), round((box[1] + box[3]) * scale))
draw_key_points(frame, pred_kpts, 0.2, scale)O resultado da execução é mostrado na figura abaixo:
1.5 Conclusão:
Com a ajuda dos gráficos integrados do processador N5105 (24 unidades de execução) e OpenVINO 2023.0 , o Intel Developer Kit pode obter um desempenho muito bom no modelo de estimativa de pose de YOLOv8-Pose. Por meio do processamento assíncrono e AsyncInferQueue , a taxa de utilização do equipamento de computação pode ser melhorada e a taxa de transferência dos programas de raciocínio de IA pode ser melhorada.