Das Apple-Forschungsteam hat auf der Preprint-Plattform arxiv einen Artikel „LLM in a flash“ veröffentlicht, in dem eine neue Flash-Speichertechnologie vorgestellt wird, die es Apple ermöglicht, große Sprachmodelle auf seinen Geräten mit begrenztem Speicher bereitzustellen.
Papieradresse: https://arxiv.org/pdf/2312.11514.pdf
Das Forschungsteam sagte, dass es die Herausforderung des effizienten Betriebs großer Sprachmodellkapazitäten gelöst habe , indem es Modellparameter im Flash-Speicher gespeichert habe – dem gleichen Ort, an dem Anwendungen und Fotos gespeichert seien. Der Flash-Speicher in Mobilgeräten ist viel größer als der RAM, der traditionell zum Ausführen großer Sprachmodelle verwendet wird.
Das Papier weist darauf hin, dass diese Technologie es KI-Modellen ermöglichen kann, mit der doppelten Größe des verfügbaren Speichers des iPhones zu laufen. Mit der Unterstützung dieser Technologie wird die Inferenzgeschwindigkeit von LLM auf der Apple M1 Max-CPU um das 4- bis 5-fache und auf der GPU um das 20- bis 25-fache erhöht.
Weiterführende Literatur