LLM：ChatGLM-6B模型进行P-Tunning训练记录及参数讲解

模型训练

首先说明一下训练的目的：提供本地问答知识文件，训练之后可以按接近原文语义进行回答，类似一个问答机器人。

步骤

1. 安装微调需要的依赖：

pip install rouge_chinese nltk jieba datasets

1. 准备训练数据集：

数据集需要jsonline的格式，如果是单轮对话，需要设置输入输出两个字段（字段名可自定义，在训练脚本中通过参数指定即可），如果是多轮对话，需要额外指定历史字段。

以单轮对话为例：

{"question":"南京未来菁英训练营的报名年龄？","answer":"9-15岁，向下浮动2岁，向上浮动3岁。"}
{"question":"南京未来菁英训练营的接待标准是？","answer":"住宿：211高校、正餐餐标45元/人（5荤5素1汤1主食）。"}

1. 准备训练脚本：tran.sh

PRE_SEQ_LEN=64
LR=2e-2

CUDA_VISIBLE_DEVICES=0 python main.py \
    --do_train \
    --train_file qa-all.json \
    --validation_file qa-dev.json \
    --prompt_column question \
    --response_column answer \