rahmen
So wie die von Java generierten Zwischendateien auf der JVM ausgeführt werden können, erfordert die spezifische Anwendung der KI-Technologie wie bei anderen Softwaretechnologien auch eine spezifische Bereitstellung und Implementierung. Da wir eine Bereitstellung benötigen, gibt es verschiedene Bereitstellungsmethoden und zugehörige Bereitstellungsarchitekturtools auf verschiedenen Plattformgeräten.
onnx
Beim Trainieren von Modellen können viele verschiedene Frameworks verwendet werden, wie z. B. Pytorch, TensorFLow, MXNet und Caffe, das beim Deep Learning usw. am beliebtesten ist. Solche unterschiedlichen Trainings-Frameworks führen zur Generierung unterschiedlicher Modellergebnispakete. Wenn das Modell ist Zur Inferenz bereitgestellt Es sind verschiedene abhängige Bibliotheken erforderlich, und die Unterschiede zwischen verschiedenen Versionen desselben Frameworks wie Tensorflow sind groß.
Um dieses verwirrende Problem zu lösen, hat sich die LF AI-Organisation mit Facebook, MicroSoft und anderen Unternehmen zusammengetan, um einen Standard für Modelle des maschinellen Lernens zu formulieren. Dieser Standard heißt ONNX, Open Neural Network Exchage. Alle Modellpakete (.pth, . pb), die von anderen Frameworks generiert wurden, können verwendet werden. Konvertieren Sie in dieses Standardformat. Nach der Konvertierung in dieses Standardformat können Sie die einheitliche ONNX-Laufzeit und andere Tools für die einheitliche Bereitstellung verwenden. Die Onnx-Laufzeit-Engine bietet Inferenzfunktionen für die generierten Onnx-Modelldateien
OpenVino
Von Intel entwickeltes Bereitstellungstool für seine eigenen Geräte
TensorRT
Von NVIDIA für seine eigenen GPUs entwickelte Bereitstellungstools
MediaPipe
Von Google entwickelte Bereitstellungstools für seine eigenen Hardwaregeräte und Deep-Learning-Frameworks
NCNN
Von Tencent entwickeltes Tool zur Bereitstellung mobiler Plattformen
Optimum
Optimum ist ein Erweiterungspaket der Huggingface-Transformers-Bibliothek, das zur Verbesserung der Trainings- und Inferenzleistung des Modells auf bestimmter Hardware verwendet wird. Die Adresse der Bibliotheksdokumentation lautet Optimum .
Huggingface optimales Chinesisch-Tutorial-1, vorläufige Erkundung-Zhihu
Diffusoren
Die Hugging Face-Plattform bietet grundlegende Modellgewichte und allgemeine Modelltrainingsrahmendiffusoren
ComfyUI
ComfyUI und Stable-Diffusion-Webui haben ähnliche Funktionen und Installationsmethoden.
[Teilen] Der beste Partner für SDXL-Modelle! COMFY UI Erste Schritte