WebVoyager：端到端网页代理

原文链接： WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models [94]

论文信息

• 年份：2024 [94]
• 作者：Hongliang He, Wenlin Yao, Kaixin Ma, Wenhao Yu, Yong Dai, Hongming Zhang, Zhenzhong Lan, Dong Yu [94]
• 作者背景（研究领域）：多模态网页代理/端到端交互 [94]
• 前后血缘关系（同主题）：前序：WebArena、Mind2Web；后续：无（端到端网页代理方向代表）

主旨

WebVoyager 的主旨是展示端到端多模态网页代理的可行性：模型直接从页面视觉与文本输入生成操作动作，在真实站点上完成多步任务。[94]

背景与问题定义

论文指出网页代理需要同时理解视觉布局、DOM 结构和指令语义，但传统方法往往依赖规则或结构化 DOM 接口。作者尝试用多模态模型直接操作真实网页，验证其在复杂 UI 中的适应能力。[94]

方法与机制

WebVoyager 将网页状态编码为多模态观察，模型输出高层动作与细粒度 UI 操作。系统强调动作可执行性与错误恢复机制，避免代理因单步失败而中断整个任务。[94]

实验与结果

实验表明端到端网页代理在多步真实任务中取得可观成功率，但在界面噪声、动态弹窗、不可预测的 UI 状态变化上仍存在明显困难。[94]

关键数据结果

• 端到端网页代理在真实站点上完成多步任务，成功率显著高于部分基线系统。[94]

工程启示（优化点）

• 提升页面观察表示质量，减少 UI 噪声干扰。
• 明确动作粒度与可执行性校验，避免无效点击。
• 加入失败恢复与重试策略，保证任务持续推进。
• 将关键中间状态写入记忆，提升多步任务稳定性。

局限与延伸

WebVoyager 仍依赖高质量多模态感知，且成本较高。复杂网页中的动态状态与权限限制仍是难点。延伸方向包括：结合 DOM 结构与视觉观察的混合表示、在更大规模任务上验证鲁棒性，以及与工具调用结合提升执行可靠性。[94]