跳转至

Mobile-Agent-v3:移动端 GUI 自动化

原文链接: Mobile-Agent-v3: Fundamental Agents for GUI Automation [98]

论文信息

  • 年份:2025 [98]
  • 作者:Jiabo Ye, Xi Zhang, Haiyang Xu, Haowei Liu, Junyang Wang, Zhaoqing Zhu, Ziwei Zheng, Feiyu Gao, Junjie Cao, Zhengxi Lu, Jitong Liao, Qi Zheng [98]
  • 作者背景(研究领域):移动端代理/GUI 自动化 [98]
  • 前后血缘关系(同主题):前序:无(移动端 GUI 代理方向代表);后续:无(移动端自动化方向代表)

主旨

Mobile-Agent-v3 的主旨是构建面向移动端 GUI 的自动化代理体系,强调在复杂移动 UI 中保持操作可靠性与跨应用一致性。[98]

背景与问题定义

论文指出移动端 UI 具有动态布局、权限弹窗与多应用切换等特点,传统桌面或网页代理难以直接迁移。需要专门针对移动端交互模式设计代理能力与评测。[98]

方法与机制

Mobile-Agent-v3 采用多模态感知与结构化动作规划,强调对 UI 元素的稳定定位与动作执行可靠性。系统关注跨应用任务的连续性与权限处理策略。[98]

实验与结果

实验显示,针对移动端场景优化后的代理在复杂任务中表现更稳定,但在动态 UI 与权限弹窗处理上仍存在明显挑战。[98]

关键数据结果

  • 移动端场景的稳定性仍是代理性能提升的关键瓶颈之一。[98]

工程启示(优化点)

  • 建立稳定的 UI 元素定位与追踪策略。
  • 针对权限弹窗设置专门处理流程。
  • 控制动作粒度,减少误触与重复操作。
  • 在跨应用任务中保持状态一致性。

局限与延伸

移动端生态碎片化导致泛化成本高,且权限/系统限制可能阻断代理执行。未来方向包括:更通用的跨设备适配、与系统级 API 的结合,以及更细粒度的安全控制。[98]