[NLP]理解大型语言模型高效微调(PEFT)

Understanding Parameter-Efficient Finetuning of Large Language Models: From Prefix Tuning to LLaMA-Adapters (sebastianraschka.com)

Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA) (sebastianraschka.com)

大模型参数高效微调(PEFT) - 知乎 (zhihu.com)

当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。