Voyager：课程生成与技能库的持续学习

原文链接： Voyager: An Open-Ended Embodied Agent with Large Language Models [76]

论文信息

• 年份：2023 [76]
• 作者：Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar [76]
• 作者背景（研究领域）：开放式具身学习 [76]
• 前后血缘关系（同主题）：前序：SayCan、ALFWorld；后续：无（开放式学习代表）

主旨

Voyager 的主旨是让代理在开放式环境中持续学习，通过自动生成课程和技能库，实现长期能力积累。论文强调，持续成长来自“任务生成 + 技能复用”，而不是无目标的探索。[76]

背景与问题定义

论文针对开放式环境中的“探索停滞”问题：代理在没有课程指引时容易陷入重复行为，无法形成系统性能力增长。作者提出自动课程与技能库机制，让学习过程具有方向性和累积性。[76]

方法与机制

论文提出三大组件：课程生成器自动提出新的任务目标，技能库保存可复用的程序化技能，反馈模块评估任务完成情况并更新技能。代理通过迭代完成任务，逐步扩展技能覆盖面，并在新任务中复用已有技能，从而实现自我成长。[76]

实验与结果

作者在开放式环境中验证 Voyager，展示其在长期任务中的持续学习与能力积累。结果表明，课程与技能库机制能够显著提升探索效率，使代理的行为不再局限于单次任务，而是形成可迁移的能力体系。[76] 论文还显示，技能库的积累使代理在新任务上的启动成本明显降低，说明能力复用是开放式学习的关键。对工程而言，这意味着“技能资产化”可以显著提升长期投资回报。[76]

关键数据结果

• 在 160 次提示迭代内，Voyager 发现 63 个独特物品，是基线的 3.3 倍。[76]
• 技术树推进速度：木制阶段 15.3 倍、石制阶段 8.5 倍、铁制阶段 6.4 倍；且仅 Voyager 解锁了钻石阶段。[76]
• 地图覆盖度：Voyager 的行进距离为基线的 2.3 倍。[76]

工程启示（优化点）

• 自动生成任务目标，驱动持续学习而非随机探索。
• 以代码或结构化形式存储技能，确保可复用。
• 设定反馈指标，指导课程难度与方向。
• 对技能进行版本管理，避免错误复用。
• 为技能库设置弃用与回滚机制。

局限与延伸

Voyager 依赖环境提供足够丰富的可探索空间，课程生成器若质量不足可能导致无效学习。技能库的规模化管理也是挑战，错误技能的累积可能带来长期负面影响。还需要考虑安全边界，避免探索触发不可控行为，技能库膨胀也会造成检索效率下降，课程生成还需与安全策略联动，并控制整体成本预算。延伸方向包括：跨环境技能迁移、更强的课程难度调度机制、加入技能质量评估，以及与现实任务结合以验证长期收益。[76]