Platypus：Quick，Cheap，and Powerful Refinement of LLMs

Introduction

现在大模型已经取得很不错的结果，如何把大模型的能力蒸馏到小模型，并且让小模型维持相同水平层次的能力，现在还是一个难题。
但是现在的instruction tuning的方法当模型足够大的时候，时间与金钱成本很大，目前已经有了Qlora来缓解这个问题，但是作者提供了另一种解决思路。