Toolformer：自举式工具学习

原文链接： Toolformer: Language Models Can Teach Themselves to Use Tools [69]

论文信息

• 年份：2023 [69]
• 作者：Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom [69]
• 作者背景（研究领域）：工具学习/自监督训练 [69]
• 前后血缘关系（同主题）：前序：MRKL Systems；后续：Gorilla、ToolLLM

主旨

Toolformer 的主旨是让语言模型自己生成工具调用数据，并通过训练把工具使用“内化”为模型能力，从而减少人工标注依赖。论文强调，关键不是简单地添加工具，而是用自举数据让模型学会何时、如何调用工具。[69]

背景与问题定义

论文聚焦于工具学习的“数据瓶颈”：人工标注调用样本成本高且覆盖有限，导致模型难以掌握工具使用规律。作者提出通过自举生成高质量调用样本，让模型在无需大规模人工标注的情况下习得工具调用能力。[69]

方法与机制

论文提出一种自动生成数据的流程：模型先在语料中插入工具调用候选，再用启发式规则筛选“有效调用”，最后把调用结果写回训练文本作为监督信号。通过这种方式，模型在学习语言的同时也学习工具接口与返回格式，并逐步提高工具使用的置信度。[69]

实验与结果

作者在多种工具任务上比较了 Toolformer 与未经过工具训练的模型。结果显示，经过自举训练的模型在需要外部知识或计算的任务上更准确，也更倾向在合适时机调用工具。实验传递的核心信息是：高质量的工具调用样本能够显著提升通用性，而无需大量人工注释。[69] 论文还通过消融分析说明，筛选规则对最终性能影响明显：过多噪声会削弱收益，过于严格又会限制样本覆盖。由此可见，工具学习的关键在“样本质量”而非样本数量。[69]

关键数据结果

• LAMA 子集（SQuAD / Google-RE / T-REx）上，Toolformer 为 33.8 / 11.5 / 53.5，显著高于 Toolformer (disabled) 的 22.1 / 6.3 / 34.9。[69]
• 数学推理基准（ASDiv / SVAMP / MAWPS）上，Toolformer 为 40.4 / 29.4 / 44.0，对比 Toolformer (disabled) 的 14.8 / 6.3 / 15.0。[69]
• 事实问答基准（WebQS / NQ / TriviaQA）上，Toolformer 为 26.3 / 17.7 / 48.8，高于 Toolformer (disabled) 的 18.9 / 12.6 / 46.7。[69]

工程启示（优化点）

• 建立“候选调用—筛选—回写”的数据管线，形成持续训练闭环。
• 用严格规则过滤低质量调用，避免噪声污染。
• 把工具输出直接融入训练语料，强化模型对返回格式的理解。
• 将工具调用当作一等 token，保证接口可扩展。

局限与延伸

自举方法容易受到筛选规则与工具可靠性的限制，规则过松会引入噪声，过严则导致样本不足。不同工具的适配成本也不均衡，且跨领域迁移存在不确定性。后续方向包括更智能的筛选策略、工具调用结果的可信度建模，以及与多工具协同训练结合。[69]