大模型-微调技术:LLM-Adapters库【对 PEFT 库的扩展,是一个简单易用的框架,将各种适配器集成到 LLM 中】

LLM-Adapters[1] 是对 PEFT 库的扩展,是一个简单易用的框架,将各种适配器集成到 LLM 中,可针对不同的任务执行 LLM 的基于适配器的 PEFT 方法,除了 PEFT 支持的 LoRA、Prefix Tuning、P-Tuning、Prompt Tuning 方法外,主要扩增了 AdapterH、AdapterP 和 Parallel 三种方法。

AdapterH:  Parameter-Efficient Transfer Learning for NLP
AdapterP:  GMAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer
Parallel:  Towards a Unified View of Parameter-Efficient Transfer Learning




 大模型参数高效微调(PEFT) - 知乎

猜你喜欢

转载自blog.csdn.net/u013250861/article/details/131516019