1. onnx 소개
딥러닝에서 가장 많이 사용되는 Pytorch, TensorFLow, MXNet, Caffe 등 모델을 훈련할 때 다양한 프레임워크를 사용할 수 있습니다. 모델 추론을 배포할 때는 다양한 종속성 라이브러리가 필요하며, 텐서플로우와 같은 동일한 프레임워크의 다양한 버전 간에는 큰 차이가 있습니다.
이러한 혼란스러운 문제를 해결하기 위해 LF AI 조직은 Facebook, MicroSoft 및 기타 회사와 협력하여 기계 학습 모델에 대한 표준을 공식화했습니다. 이 표준을 ONNX(Open Neural Network Exchage)라고 합니다. 모든 모델 패키지(.pth, . 다른 프레임워크에서 생성된 pb)를 사용할 수 있습니다. 이 표준 형식으로 변환합니다. 이 표준 형식으로 변환한 후에는 통합 ONNX Runtime 및 기타 통합 배포 도구를 사용할 수 있습니다. (Java에서 생성된 중간 파일이 JVM에서 실행될 수 있는 것처럼 onnx 런타임 엔진은 생성된 onnx 모델 파일에 대한 추론 기능을 제공합니다.)
onnx 홈페이지 :
onnxruntime.ai
참고: