基于大模型的AI Agent是一种借助大模型来进行任务理解、规划并自动化执行的软件实体。今天来认识一种特殊能力的智能体类型及其最新进展：GUI Agent（用户界面智能体，这里的GUI泛指PC、Web与移动APP的操作界面）。
GUI是人机交互的基础，它从根本上改变了人类与计算机的交互范式，也使得非技术用户也能高效的操作计算机。但在实际工作中，这还远远不够：
-
易用的图形界面往往会牺牲操作效率。一些日常工作流程需要在多个应用间切换并重复，这些复杂或重复性任务的效率仍然不够高。如：
“在Excel中整理数据后导入PowerPoint，并通过协作工具发送”
“从财务软件中读取数据，并到税务网站进行纳税申报”
“搜索网络最新热点，创作文章，并发布到多个社媒平台”
-
复杂的应用生态提高了操作复杂性。随着数字化的普及，各种业务应用（如CRM、ERP、Office工具）层出不穷，用户需要掌握越来越多的工具界面。对很多用户来说，操作的复杂性是一个显著的痛点。
-
现有的UI自动化解决方案面临挑战。早期的UI自动化解决方案通常是基于规则与脚本来实现，比如RPA，这类解决方案面向流程固定与规则明确的重复性任务，但在多样与动态的UI场景中，则缺乏足够的灵活适应能力。
-
基于API的AI Agent不具有普遍的通用性。尽管大模型给AI Agent带来具有想象力的应用空间，但基于API的工具智能体并不具有通用性，你需要根据场景来使用不同的API。相对来所，图形界面则提供了一种应用交互的更通用便捷的机制，且不具有侵入性：应用无需提供特别的API。
因此，需要一种能够实现自动化UI交互的Agent，帮助完成复杂任务，以大幅提升效率。
GUI Agent是一种基于多模态视觉模型驱动的人工智能系统，能够自动推理并执行UI交互，模拟人类用户的操作，如点击、输入、拖拽、读取界面信息等，以完成人类要求的工作任务。其核心功能是：
-
自然语言交互：通过输入的自然语言请求理解任务目标。
-
多模态感知与推理：分析界面截图、UI元素等多模态信息并推理行动。
-
任务自动化：通过应用UI执行行动，如打开应用、批量编辑、数据处理。任务的执行需要借助计算机操作工具，如Selenium、AutoIt等。
以下是一个高层的概念场景：
该场景解释如下：
1. 用户请求（User Request）
用户以自然语言的形式向GUI智能体提出请求，例如：
“从Word文档中提取内容，创建一个PowerPoint幻灯片，然后通过Teams发送。”
这是整个工作流程的起点，用户只需提出需求，而不需要手动操作多个应用。
2. GUI智能体（GUI Agent）
GUI Agent是核心的执行者，负责解析用户请求、推理、并协调多应用之间的任务，并自动打开不同的应用程序来执行：
-
从Word文档中提取信息
-
从“照片”应用中获取、分析与提取图片
-
打开Web浏览器访问网页并总结内容
-
打开PDF阅读器读取文档、OCR识别、提取文字或图形
-
打开PowerPoint，将提取的内容创建成PowerPoint
-
打开Teams软件，将创建的PPT发送给指定个人与团队
整个任务全部由GUI Agent自动“观察”、“思考”与“执行”，无需人类参与。
下图给出一个基于大模型的GUI Agent的总体架构：
1. Request（用户请求）
用户通过输入的形式向GUI Agent提出任务请求。
2. prompt Engineering（提示工程）
将用户的请求转化为可以被LLM理解的输入格式。包括Instruction（指令）与Examples（示例，提供多个示例以引导模型理解任务）等部分。
3. Perception（感知）
通过分析UI环境的状态，提取所需的环境信息。包括Screenshots（截图，当前界面的视觉快照），Widget Tree（组件树，界面结构的层次表示），UI Element Properties（UI元素属性，包括每个元素的类型、标题、位置）等。
4. Model Inference（模型推理）
大模型使用上述拼接的输入（包含任务描述、环境信息等）进行推理，生成一系列具体的操作计划（Action Plan）。
5. Memory（记忆模块）
用来记录智能体的历史步骤和状态，用于后续推理和操作，以避免重复执行任务，确保步骤连续性与相关性。
6. Action Execution（动作执行）
根据推理的操作计划执行动作，通常需要调用必要的计算机工具来完成，比如打开应用、输入文字、模拟鼠键操作等。
7. Operating Environment（运行环境）
GUI Agent操作的目标环境，通常是一个真实的或模拟的图形用户界面。包括普通GUI、Web UI、移动APP UI等。
最近两年来，随着大模型的兴起，GUI Agent也不断有新的工具与平台推出，下图展示其中一些重要项目：
这里推荐几个可以研究的项目：
- 腾讯AppAgent
基于大模型的多模态智能体框架，能够模仿人类在手机上的点击和滑动手势，操作各种智能手机应用程序.
- 智谱AutoGLM
推出的跨移动端、Web、PC的自主UI智能体，适配多款应用软件，提供自然语言控制常见软件操作的功能，而无需定制工作流。
- 微软OmniParser
OmniParser 是微软推出的一个通用的屏幕解析工具。旨在UI截图解释为结构化格式，从而提高GUI Agent的性能，它结合了可交互区域检测模型、图标描述模型和 OCR 模块等功能。
- Athropic的Compute Use
Anthropic 在最新推出的 Claude 3.5 Sonnet 模型中的提供了 “computer use” 的API功能，它可以使 AI 能够像人类一样操作电脑，通过观看屏幕截图，实现移动光标、点击按钮、使用虚拟键盘输入文本等操作。具体可参考Github Demo：
https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo
最后，我们来比较GUI Agent与传统RPA的差异：
GUI Agent 通过引入强大的语言模型和多模态视觉能力，显著提升了UI自动化任务的智能化程度和灵活性，是未来人机协作的重要趋势之一。当然，目前的GUI Agent在完成任务的能力上与人类还有较大差距，根据Anthropic的标准测试结果，目前GUI Agent的能力还只能达到人类的20%左右。
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- prompt 攻击和防范
- …
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 Javascript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。