大约两周前，Meta 公司发布了新的 Llama-2 人工智能模型，震惊了生成式人工智能世界。它的前身 Llama-1 是 LLM 行业的一个转折点，随着其权重的发布以及新的微调技术，开源 LLM 模型的大量创建导致了高性能模型的出现如骆马毛、考拉……
在本文中，我们将简要讨论该模型的一些相关点，但重点是展示如何使用这个世界上的库和工具标准快速训练模型以执行特定任务。我们不会对新模型进行详尽的分析，已经有大量关于该主题的文章发表。
新 Llama-2 模型
7 月中旬，Meta 发布了名为Llama-2的新系列预训练和微调模型，具有开源和商业特性，以方便其使用和扩展。基础型号发布了聊天版本，尺寸为 7B、13B 和 70B。与模型一起发表的相应论文描述了它们的特征和学习过程的相关点，提供了关于该主题的非常有趣的信息。
Llama 1 的更新版本，使用新的公开可用数据组合进行训练。预训练语料库大小增加了40%，模型上下文长度加倍，并采用分组查询注意力。发布了具有 7B、13B 和 70B 参数的变体，以及论文中报告但未发布的 34B 变体。 [1]
对于预训练，使用了 40% 以上的 token，达到 2T，上下文长度加倍，并应用分组查询注意（GQA）技术来加速较重的 70B 模型的推理。在标准 Transformer 架构上，使用 RMSNorm 归一化、SwiGLU 激活和旋转位置嵌入，上下文长度达到 4096 个标记，并应用 Adam 优化器和余弦学习率计划、0.1 的权重衰减和梯度裁剪。
监督微调(SFT) 阶段的特点是示例质量优先于数量，因为大量报告表明，使用高质量数据可以提高最终模型性能。
最后，应用人类反馈强