GUI-explorer：无需训练的移动应用自动化探索智能体
talkingdev • 2025-05-26
17497 views
由研究团队开发的GUI-explorer是一种突破性的无训练智能体，采用无监督学习方法自主探索移动应用界面并提取知识。该技术通过动态解析UI层级结构和视觉元素，实现了对未知应用的零样本适应能力，任务成功率提升显著且无需重新训练。其核心创新在于将界面探索建模为强化学习问题，通过基于像素的元学习策略生成操作指令。这一成果解决了传统自动化工具依赖大量标注数据和领域适配的痛点，在移动应用测试、无障碍辅助和自动化流程等领域具有重要应用价值。目前项目已在GitHub开源，为AI驱动的界面理解研究提供了新范式。