微调简介
fine-tune就是在LLM常说的微调的英文。在LLM中要训练一个模型是一个费时、费力、费钱的工作，由于模型规模大、参数多在训练过程中会占用大量的时间和计算资源，尤其是一个复杂任务，想要提升模型的能力，就需要通过大量的数据进行训练这都是需要更多的投入的。那么如果有一个现成的模型，和我们要觉得的问题相似，那么我们就可以通过在这个模型的基础之上通过微调达到我们想要的能力。微调就是在一个预训练的大模型上，使用一些特定领域的数据再次进行训练，从而让预训练模型能够适应特定领域、特定任务。在微调过程中，模型的参数会依据新的数据进行调整，从而可以满足特定领域、特定任务的需求。
那么这个微调也有一些不同的方法，其中全面微调（full fine-tuning）就是在微调过程中全部的模型参数都会有所调整。这也就注定了全面微调对于计算资源的投入、数据规模的要求等都需要更多的支持。全面微调因为调整了全部的参数，很容易引起灾难性遗忘(catastrophic forgetting)，灾难性遗忘就是再进行全面的微调以后得到的模型在原始任务上的能力表现非常糟糕，以至于达到了难以接受的下降。
那么参数高效微调（parameter-efficient fine-tuning，简称PEFT）是另外一种微调方法。PEFT在微调过程中只会调整一部分模型参数或者不会修改原来参数而是加上一些新参数，从而降低了对计算投入和数据规模的要求。PEFT 在参数效率、内存效率、训练速度、模型性能和推理成本上都有综合的平衡。PEFT 中分为选择法（selective）、基于重参数法（reparametrization-based）、附加法（additive)。选择法会选择一部分 LLM 的初始参数进行微调，因为再选择的时候，可以选择某些组件、某些参数也