为什么选择Lora用于模型训练?

为什么选择Lora用于模型训练?

Lora采用的方式是向原有的模型中插入新的数据处理层,这样就避免了去修改原有的模型参数,从而避免将整个模型进行拷贝的情况,同时其也优化了插入层的参数量,最终实现了一种很轻量化的模型调校方法。

直接以矩阵相乘的形式存储,最终文件就会小很多。

一般lora都在144M,而一般的DB大模型至少都是近2G起,节省了大量的存储空间。

Lora训练时需要的显存也少了,显卡的显存达到6g即可开启训练,硬件门槛更加亲民。

Lora可以非常方便的在webui界面通过调用和不同权重,实现多种模型效果的叠加,相比DB大模型操作更加便捷,效果更加显著。

おすすめ

転載: blog.csdn.net/weixin_43717681/article/details/130829825