本论文第一作者为微软 DKI 团队的 Chaoyun Zhang，其为 Windows 平台首个智能体系统 ——UFO 的核心开发者，该项目已在 GitHub 上开源并获得约 7,000 Stars，在社区中引发广泛关注。同时，他也是一篇超过 90 页的 GUI Agent 综述文章的主要撰写者，系统梳理了该领域的关键进展与技术框架。其余项目的主要贡献者亦均来自微软 DKI 团队，具备深厚的研究与工程背景。
近年来，图形用户界面（GUI）自动化技术正在逐步改变人机交互和办公自动化的生态。然而，以 Robotic Process Automation（RPA）为代表的传统自动化工具通常依赖固定脚本进行操作，存在界面变化敏感、维护成本高昂、用户体验欠佳等明显问题。
同时，近年来兴起的基于大型语言模型（LLM）的计算机智能体（Computer-Using Agents，CUA）虽然展现出灵活的自动化潜力，但多数方案仍停留在概念验证或原型阶段，缺乏与操作系统深度集成的能力，制约了其在实际工作环境中的规模化应用。
针对这些行业痛点，作为前代纯 GUI 桌面智能体 UFO 的全面升级版，微软研究团队近日正式开源了业内首个深度集成 Windows 操作系统的桌面智能体平台 ——UFO² AgentOS。该平台不仅继承了 UFO 的强大 GUI 操作能力，还在系统层面进行了深度优化，显著提升了智能体在 Windows 环境下的操作效率与稳定性。
UFO² 不是传统意义上的桌面自动化工具，而是一种深度融入操作系统的智能体框架，首次以「AgentOS」理念设计，彻底解决了传统智能体界面交互脆弱、执行中断用户体验等核心问题。
UFO² 引入了多智能体架构：中央的 HostAgent 负责自然语言任务解析与子任务分解，而专属的 AppAgent 则为每个应用程序提供定制化的 API 接入、界面感知与交互能力。两者协同工作，实现了任务的精准分解与灵活执行，并支持跨应用任务，显著提升了系统的可扩展性与执行效率。
具体来说，UFO² 在以下几个核心维度实现了突破，这些维度都充分利用了与 Windows 系统的深度集成：
传统 API 执行方式精准高效，但需要针对特定应用实现对应接口，覆盖范围有限；而 GUI 执行方式更加通用灵活，但步骤更长，容易受到界面变动的影响。UFO² 创新地将 API 与 GUI 两种执行范式合二为一，通过统一的 Puppeteer 接口，实现两种执行模式的动态选择。
在实际任务执行中，UFO² 可以智能地根据操作环境与任务特性，自动判断是否优先使用 API 执行来提高速度与精准度，或者在 API 不足以完成任务时，灵活转向 GUI 操作，从而实现效率与通用性的最佳平衡，显著提升任务稳定性和鲁棒性。
UFO² 实现了与 Windows 系统的深度融合，通过结合 Windows 原生 UI Automation（UIA）接口与先进视觉识别模型 OmniParser-v2，实现了对界面元素的混合检测与精准感知。这种方式不仅克服了传统视觉识别准确性不足的问题，同时也解决了纯粹依赖系统 API 检测范围有限的瓶颈。
实际应用场景中，尤其是在界面复杂、控件自定义或标准化程度低的场景下，UFO² 的混合感知能力有效提高了控件识别的准确性与覆盖率，从而保障了任务执行的稳定性与鲁棒性。
UFO² 采用检索增强生成（RAG）技术，构建了持续的知识库，动态整合外部应用文档和历史执行日志，使智能体实时获得最新的应用使用方法和最佳实践。这一技术保障了智能体在新功能上线或应用版本升级后能迅速适应变化，维持高效执行。
通过这种方式，UFO² 可实现对复杂任务的精准理解与执行，减少因知识更新不及时导致的操作失败。此外，智能体还能利用历史成功执行的经验，提高任务完成的准确性与效率，真正实现「越用越强」。
为有效降低大语言模型（LLM）调用次数，UFO² 创新性地采用了推测式多步预测机制。智能体一次 LLM 调用即可预测多个后续步骤，并通过实时的界面状态校验来逐步执行。这种机制大幅度降低了智能体执行任务时的延迟和计算成本。
实验结果显示，推测式多步执行技术可减少高达 51.5% 的 LLM 调用次数，大幅提升任务执行速度与系统响应能力，使智能体能够更顺畅地完成复杂的任务序列，提升整体效率。
UFO² 引入了创新的画中画（PiP）虚拟桌面技术，通过深度利用 Windows 原生的远程桌面服务，创建了一个轻量级、独立且安全的虚拟桌面环境。所有智能体执行的任务均在此环境中进行，避免了与用户主桌面的任何交互干扰。
用户可以在智能体执行复杂任务的同时，继续进行其他重要的工作，而无需担心智能体任务影响自己的桌面操作。这一设计极大提高了智能自动化的用户接受度与实际使用体验。
仅采用 GPT-4o, 任务成功率相比业内领先的 OpenAI Operator 提升超过 10%。特别值得强调的是，UFO² 的推测式多步执行技术将大模型调用（LLM call）的频率降低最多达 51.5%，极大提升了任务响应速度和系统效率。
微软团队已经将 UFO² 的全部代码和详细文档向社区开源，欢迎开发者们加入共建与创新。
开源项目地址：（GitHub UFO² 项目）官方文档：（微软 UFO² 官方文档）
UFO² 的发布不仅标志着桌面智能体真正迈入了系统级的「AgentOS 时代」，也为未来智能办公、智能人机交互的发展树立了重要里程碑。通过 UFO²，微软期待与全球开发者共同打造更加智能、稳定、高效的桌面智能生态。
欢迎各界人士关注、使用并反馈，共同推动桌面自动化和智能交互的下一次技术革命。
05月04日，“十四冬”滑雪登山混合接力赛完赛 吉林队摘金，ManBetX万博手机版登陆，cc，通博娱乐，bbin平台官网开户
05月04日，中老铁路“跑”出新变化，千亿网址是多少，澳门大富豪真人炸金花，qq分分彩官方网站，百老汇注册平台
05月04日，外交部：反对有关国家在非法侵占的中国南沙岛礁上开展非法建设活动，在哪可以赌博，百老汇娱乐官网，f66永乐国际ag旗舰厅，理财婆
05月04日海口打造“演艺之城”拉动消费ag试玩平台注册登录银河国际娱乐m6米乐手机版注册下载十三张牌游戏
05月04日哈尔滨首推夏季江上实景演出 百余名中外演员联袂献艺IM体育官网比分MG线日福建建瓯：中华秋沙鸭归来 生态向好展新颜leyu乐鱼官网app下载银河电玩城app刺激战场国际服怎么感觉真人少奥博真人国际……
05月04日，习言道｜习再访法国 元首外交三个“特别”引人关注，大发888真，巴黎人网投网投，开运官网入口app，新一代A
05月04日，天津“新”城事丨故事，从大规模调研和讨论开始——城市更新具体行动纲领确立历程，爱体育app官方登录入口，csgo战队logo设计，荣胜国际真人平台，bwin快速开户
05月04日再获“国字号”招牌！新疆兵团这里“夜经济”为何能出圈？888真人客户端下载北京猎豹国际线中文手机版澳门威斯尼真人手机版下载
05月04日，太阳岛雪博会：继续创新赛事活动 推动冰雪艺术人才培育，锦利娱乐平台，必威中文版下载，kb凯时国际娱乐，开心游戏网
05月04日，焦点访谈：中国智造 驱动汽车加速“出海”，十博体育在线俄罗斯贵宾会官网，ag捕鱼王3d攻略，欧洲杯决赛直播
05月04日，泰国首辆在本地生产的量产纯电动车下线，火狐网站是多少，易博体育平台手机版，足球直播网手机版，彩99旧版本官方版ios
05月04日浙江天气将进入“渐冻模式” 下周将迎今年初雪365bet注册天博体育tbty澳门手机银河365bet正规吗
05月04日中方批驳加拿大有关报告：所谓“中国干涉内政”是彻头彻尾的政治谎言纸牌二八杠做牌手法亚博网APP银河正规官方北京合法德州俱乐部
05月04日小县城游增速“跑赢”大都市，中国游客遍及全球近200个国家棒球比分牌必赢亚洲网页版下载以前有个捕鱼大亨呢快乐牛牛新版客户端下载
长沙天空出现巨大日晕，殡仪馆副馆长为敛财改收费标准云南镇雄山体滑坡：全力搜救失联人员篮球直播188爱游戏APP官网bwin开户万博manbetx客户端
河南一小区部分楼层被改成宾馆，如何评价《明日方舟》五周年剧情【理响中国·实践新论】视频为什么C919是当之无愧的国产大飞机？欧宝体育网址在哪万博最新官方网站二八杠有技巧吗九球体育下载app
红旗车队将送神十九航天员出征，全领域异常解决室东西问·名家坊丨吴为山：以艺术为桥，中法文化如何交流融汇？博天堂登陆澳门百老汇赌场平台爱游戏下载安装包万人推筒子棋牌游戏
嫌犯讯问期间越窗坠亡 公安局赔百万，郑乃馨承认恋情（文化新纪行）科技赋能深海考古：以中国经验探索人类深蓝神秘印记ag手机端澳门威斯尼人网址2ag完美对子是什么牌ManBetx手机版登陆
健身房搞男女分区惨淡收场，游戏本配置大评选中新健康 三阴乳腺癌治疗新研究获国际医学期刊关注优德W88足球app排行新宝gg创造奇迹官方登录意大利足球直播
周笔畅 第二名离第一就差一口气，奔跑吧邀请梁王逾800名运动爱好者参加2024“红气球挑战赛”（大湾区站）北方网体育环球在哪开户yabo22vip电子网投pg电玩城
胡塞称在亚丁湾袭击美国军用货轮，沉香如屑·沉香重华中汽协：3月汽车商品进出口总额为238.7亿美元 环比增长19.4%果博下载kok网址登录云顶国际在线官网网址入口
Copyright © 2002-2025 乐鱼体育官方网站 版权所有 非商用版本 备案号：
@BETHASH6
