【大语言模型】使用ChatGLM-6B模型训练自己的数据集

本项目实现了对于 ChatGLM-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。

下面以 ADGEN (广告生成) 数据集为例介绍代码的使用方法。

使用ChatGLM-6B训练自己的数据集

1. 安装软件依赖

## 运行微调需要4.27.1版本的