本文是LLM系列文章，针对《TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION》的翻译。
TASKBENCH：为任务自动化测试大型语言模型
摘要
最近，大型语言模型（LLM）的惊人进展点燃了任务自动化的火花，它将用户指令描述的复杂任务分解为子任务，并调用外部工具来执行，并在自主代理中发挥核心作用。然而，缺乏一个系统化和标准化的基准来促进LLM在任务自动化中的发展。为此，我们引入TASKBENCH来评估LLM在任务自动化中的能力。具体来说，任务自动化可以分为三个关键阶段：任务分解、工具调用和参数预测，以实现用户意图。与常见的NLP任务相比，这种复杂性使数据收集和评估更具挑战性。为了生成高质量的评估数据集，我们引入了工具图的概念来表示用户意图中的分解任务，并采用反指令方法来模拟用户指令和注释。此外，我们提出了TASKEVAL来从不同方面评估LLM的能力，包括任务分解、工具调用和参数预测。实验结果表明，TASKBENCH可以有效地反映LLM在任务自动化中的能力。得益于自动化数据构建和人工验证的混合，TASKBENCH与人工评估相比实现了高度的一致性，可以作为基于LLM的自主代理的全面而可靠的基准。
1 引言
2 TASKBENCH数据集
3 TASKEVAL
4 结论
在本文中，我们介绍了TaskBench，这是一个评估任务自动化LLM的基准。更详细地说，我们首先总结了LLM在自动化任务中的三个关键阶段，包括任务分解、工具调用和工具参数预测。这三个阶段的性能反映了LLM的任务自动化能力，因此我们希望为它们构建评估数据集。为了实现这一点，我们引入了ToolGraph的概念，它收集不同的工具及其连接，然后基于ToolGraph中的采样子图，采用反指令方法来模拟用户指令。基于我们精心策划的数据集，我们进一步引入TASKEVAL来系统评估LLM在自动化任务中的能力，包括任务分解、工具调用和参数预测。实验结果表明，我们的TaskBench可以有效地用于任务自动化中的LLM评估。未来，我们将把我们的基准扩展到各个领域，并设计更先进的指标，以进一步探索LLM在任务自动化中的潜力，并构建强大的自主代理。