【DL】LoRA的学习笔记

2 源码学习

2.1 学习资料

【视频】《[LLMs 实践] 04 PEFT/LoRA 源码分析》

• PEFT：由huggingface团队开发的参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）的库，它可以在不微调所有模型参数的情况下，将预训练的语言模型（PLM）适应到各种下游任务上。PEFT库支持多种高效微调的方法，如低秩适应（Low-Rank Adaptation，LoRA）、前缀微调（Prefix Tuning）、自适应预算分配（Adaptive Budget Allocation，AdaLoRA）等。