详情

　　因而，一个环节问题是：能否能够让智能智能体既保留推理能力，可以或许矫捷应对新使命，同时又能像 RPA 一样高效施行常见使命？

　　AppAgentX 提出了一种可进化的 GUI 智能体框架，使得智能体不只能像人类一样自从摸索和理解界面，还能通过进修本身的汗青交互模式，逐步优化施行过程，实现智能取效率的最佳连系。

　　正在大模子驱动的 GUI 智能体中，一个环节问题是若何正在智能决策取施行效率之间取得优良均衡。现无方法虽然能借帮大模子的强大推理能力理解界面，并逐渐规划点击、输入、滑动等交互操做，但这种逐渐推理的体例往往导致较高的计较成本和施行延迟。例如，正在完成一个简单的搜刮使命时，智能体可能需要针对 “点击搜刮框、输入环节词、点击搜刮按钮” 三个步调一一推理，而这种体例虽然了决策的精确性，却了施行速度。

　　正在此根本上，研究者操纵大模子从汗青操做径中提取使命逻辑，并从动总结出页面和交互元素的功能描述。例如，智能体能够总结出 “搜刮框 + 确认按钮” 这一模式，并将其做为高层级的语义单位记实下来。如许，正在将来碰到雷同界面时，智能体便无需从零起头推理，而是能够间接挪用已进修到的高效处理方案。

　　本文为磅礴号做者或机构正在磅礴旧事上传并发布，仅代表该做者或机构概念，不代表磅礴旧事的概念或立场，磅礴旧事仅供给消息发布平台。申请磅礴号请用电脑拜候。

　　相较之下，保守的机械人流程从动化（RPA）东西虽然缺乏矫捷性，但基于固定脚本的施行策略答应其正在预定义使命上实现极高的施行效率。对比二者，大模子智能体的劣势正在于顺应性强，可以或许正在复杂或未知界面中推理最优交互体例，而 RPA 的劣势则正在于施行速度快，可以或许高效完成固定使命。若何正在大模子智能体的智能性取施行效率之间找到最佳连系点，成为鞭策该手艺落地的主要挑和。

　　正在尝试中，AppAgent X 正在多个 GUI 交互使命上展示出了显著的效率提拔，并优于现有 SOTA 方式。它的进化能力使得智能体可以或许不竭优化本身的操做流程，为将来的智能化人机交互奠基了新的根本。

　　原题目：《DeepSeek的最佳用法？西湖大学发布能够自从进化的手机智能体AppAgentX》！

　　近年来，狂言语模子（LLM） 的快速成长正鞭策人工智能迈向新的高度。像 DeepSeek-R1 如许的模子因其强大的理解和生成能力，曾经正在 对话生成、代码编写、学问问答 等使命中展示出了杰出的表示。现在，LLM 的使用范畴正进一步拓展，催生了一类新的智能体 —— 基于 LLM 的 GUI 智能体（GUI Agents），它们可以或许像人类一样，间接通过鼠标、键盘取计较机或手机进行交互。

　　研究者为智能体设想了一种链式学问存储机制，用于记实每次使命施行时的完整交互流程。具体来说，智能体的每次操做城市被存储构成一个 “链”，此中包罗？。

　　这类智能体不再依赖保守 RPA（机械人流程从动化） 体例，即基于预定义的法则和脚本施行使命，而是可以或许通过天然言语理解用户指令，自从完成操做。例如，它们能够打开使用、编纂文档、浏览网页，以至施行跨软件的复杂使命，而无需开辟者手动编写繁琐的从动化脚本。比拟 RPA，这类智能体的劣势正在于矫捷性和泛化能力，可以或许顺应分歧使命场景。

　　瞻望将来，GUI 智能体的进化将是 LLM 智能体成长的环节标的目的之一。我们相信，跟着 LLM 正在推理能力上的持续前进，智能体能够进一步拓展至更复杂的使用场景。

　　正在狂言语模子取屏幕进行交互的时候，支流工做例如 AppAgent 定义了一系列模仿人类的动做，例如点击、滑动、输入。这些操做配合定义了一个根基的、取使用法式无关的操做空间，用于模仿人类取智妙手机界面的典型交互。

　　正在后续使命中，智能体味优先婚配当前界面取已有的链式存储记实，并判断能否能够间接挪用高级操做节点。若是婚配成功，智能体便无需逐渐推理所有低层操做，而是间接施行曾经优化的快速径，提高使命施行效率。此外，对于未婚配到的使命，智能体仍可以或许基于根本动做空间前进履态推理，确保智能性和矫捷性不受影响。

　　这一趋向让人们对 AI 帮手的想象逐步成为现实。科幻片子中的 贾维斯（Jarvis），可以或许理解天然言语并自从操做计较机，而今天的 LLM 智能体正正在向这一标的目的迈进。企业中也正正在推广 数字员工（Digital Workers），他们能够从动完成数据录入、报表生成、从而提超出跨越产力。此外，近程节制、智能办公帮手 等场景，使人们可以或许天然地用言语指令节制计较机以至整个企业 IT 系统。

　　跟着狂言语模子（LLM）的快速成长，智能体正逐渐从简单的文本交互进化到可以或许间接操做操做系统和 GUI 界面的自从智能体。然而，现无方法正在效率和施行智能化之间存正在衡量，导致 LLM 智能体正在面临反复性使命时表示低效。AppAgent X 提出了一种可进化的 GUI 智能体框架，使智能体可以或许从本身的使命施行经验中进修，逐渐构成更高效的操做策略。通过这一方式，AppAgent X 兼顾了 LLM 智能体的矫捷性和 RPA 智能体的施行效率，实现了高效、智能、无需后端拜候的 GUI 操做。

　　基于存储的交互链，AppAgentX 可以或许通过进化机制从动提炼出高效的施行体例。当智能体识别到某些操做模式具有固定的施行挨次时（例如点击搜刮框 → 输入内容 → 提交搜刮），它将动态建立一个捷径节点（shortcut node） ，将多个底层操做整合为一个更高级的动做，从而削减不需要的推理和施行时间。

　　通过引入链式存储机制和动态婚配施行机制，使得智能体可以或许高效回忆、归纳并优化本身的操做轨迹，从而正在后续使命中复用高效的施行策略，削减反复推理，提高全体使命完成速度。

　　然而，目前的 LLM 智能体正在现实使用中仍然存正在效率问题。现无方法依赖 逐渐推理，即每施行一个操做前，模子都要 “思虑” 下一步该做什么。例如，正在施行简单的搜刮使命时，智能体需要别离推理 “点击搜刮框” → “输入环节词” → “点击搜刮按钮”，即即是简单的步调，也需要花费额外的计较资本。这种模式虽然提高了通用性，但正在应对大量 反复性使命 时，效率却远不如保守的 RPA。

　　论文的第一做者是来自西湖大学的研究人员蒋文嘉，指点教员为西湖大学 AGI 尝试室的担任人张驰帮理传授。尝试室的研究标的目的聚焦于生成式人工智能和多模态机械进修。