FreeWilly2是由Stability AI基于Llama2 70B所微调后发布的大语言模型，该模型的部分推理能力甚至已经超越了openAI的GPT-3.5。截止至发稿前，该模型在HuggingFace的开源语言模型排行榜中位列榜首，大部分语言模型加载工具也正在处于积极适配中。
看来开源语言模型终于要变天了，毕竟现在各种技术层出不穷，就像站长所说的，超越闭门造车不再open的oepnAI，只是时间问题。
模型描述
FreeWilly2是一个在Orca风格数据集上微调的Llama2 70B模型。Stability AI及其CarperAI实验室自豪地宣布FreeWilly1及其后继者FreeWilly2，这是两个强大的新型开放访问的大型语言模型（LLM）。这两个模型在各种基准测试中展现出了卓越的推理能力。FreeWilly1利用了原始的LLaMA 65B基础模型，并通过新的合成数据集使用标准Alpaca格式进行了精心微调。类似地，FreeWilly2利用了LLaMA 2 70B基础模型，其性能在某些任务上与GPT-3.5相比表现出色。
数据生成和收集
FreeWilly模型的训练直接受到了微软在其论文《Orca：从GPT-4的复杂解释跟踪中进行渐进学习》中开创的方法的启发。虽然我们的数据生成过程类似，但我们在数据来源上有所不同。
我们的数据集变种包含了60万个数据点（大约是原始Orca论文使用的数据集大小的10%），这些数据点是通过对以下由Enrico Shippole创建的高质量指令数据集进行语言模型提示而生成的：
通过这种方法，我们使用一个较简单的LLM模型生成了50万个示例，并使用一个更复杂的LLM模型生成了额外的10万个示例。为了确保公平比较，我们仔细筛选了这些数据集，并删除了来自评估基准的示例。尽管训练样本大小仅为原始Orca论文的十分之一（大大减少了与原始论文相比训练模型的成本和碳足迹），但由此产生的FreeWilly模