通义千问3-14B部署教程：Kubernetes集群部署最佳实践
2026/1/22 7:04:00
AutoGLM-Phone日程管理应用：会议安排自动同步案例
1. Open-AutoGLM：手机端AI Agent的开源新范式
你有没有这样的经历？刚开完一场线上会议，正准备记录时间、添加日历提醒，结果电话又来了，手忙脚乱中漏掉了下一次会议的安排。我们每天被各种App来回切换，信息散落在微信、钉钉、飞书甚至邮件里，手动整理效率低还容易出错。
现在，一个叫Open-AutoGLM的开源项目正在改变这一切。这是由智谱推出的手机端AI Agent框架，它不只是一款工具，更像是一位能“看懂屏幕、听懂指令、动手操作”的数字助理。你只需要说一句：“把刚才群里说的周三下午三点的会议加到日历”，它就能自动识别聊天内容、提取关键信息，并在日历App中创建事件——全程无需你点一下屏幕。
这个能力背后，是AutoGLM-Phone的核心突破：它将视觉语言模型（VLM）与设备控制能力结合，通过ADB实现对安卓手机的全链路自动化操作。用户用自然语言下达任务，系统就能理解当前界面、规划操作路径、执行点击输入等动作，真正实现了“动口不动手”。
2. AutoGLM-Phone如何工作：多模态理解+自动执行
2.1 多模态感知：AI也能“看手机”
传统自动化工具依赖固定控件ID或坐标点击，一旦界面更新就失效。而AutoGLM-Phone完全不同——它先通过ADB截屏获取当前手机画面，再将图像和用户指令一起输入视觉语言模型进行分析。
比如你在微信看到一条消息：“明天上午10点开项目评审会，腾讯会议链接：xxx”。AI不仅读得懂文字，还能“看见”这条消息所在的聊天窗口位置，判断出它是最新未读消息，进而决定下一步操作。
这种“图文并重”的理解方式，让AI具备了类似人类的操作逻辑：先观察，再思考，最后行动。
2.2 操作规划与执行：从意图到动作
理解了用户需求后，系统会生成一个操作序列。以“把会议加入日历”为例：
- 识别消息中的时间（“明天上午10点”）、主题（“项目评审会”）、平台（“腾讯会议”）
- 打开系统日历App
- 点击“新建事件”
- 填写标题、时间、备注（含会议链接）
- 保存事件
每一步都由模型根据当前屏幕内容动态决策。如果发现日历权限未开启，它还会主动提示你授权，而不是直接报错中断。
2.3 安全机制：敏感操作有人兜底
完全放权给AI会不会有风险？AutoGLM-Phone考虑到了这一点。对于涉及支付、账号登录、短信验证码等敏感操作，系统默认会暂停并等待人工确认。你可以选择接管操作，也可以设置白名单信任某些App。
此外，整个流程支持远程调试。即使手机不在身边，只要连上WiFi，你就能通过云端服务调用AI代理完成任务，特别适合开发者测试或远程协助场景。
3. 实战演示：一句话同步会议到日历
下面我们来模拟一个真实场景：微信群里通知了新的会议安排，我们让AutoGLM-Phone自动处理。
3.1 场景描述
微信收到一条群消息：
@所有人 明天（6月12日）下午2:00召开季度复盘会，使用飞书会议，链接：https://meet.feishu.cn/xxx，请准时参加。
我们的目标是：让AI自动提取信息，并在系统日历中创建对应事件。
3.2 下达指令
在本地控制端运行命令：
python main.py \ --device-id emulator-5554 \ --base-url http://192.168.1.100:8800/v1 \ --model "autoglm-phone-9b" \ "请查看最新的微信群消息，如果有会议安排，请添加到日历"3.3 AI执行过程（日志还原）
截屏分析
AI获取当前屏幕截图，识别出微信App正在前台运行，且聊天界面中有未读红点。消息解析
模型定位到最新一条@all的消息，提取结构化信息：- 时间：2024年6月12日 14:00
- 主题：季度复盘会
- 工具：飞书会议
- 链接：https://meet.feishu.cn/xxx
启动日历App
AI发送指令打开系统日历，检测是否已有相同时间段的冲突事件。填写表单
自动输入标题“季度复盘会”，设置时间为6月12日14:00，备注栏粘贴会议链接。保存提醒
点击“完成”按钮，事件成功创建。系统返回确认信息：“已为您添加‘季度复盘会’至日历”。
整个过程耗时约18秒，期间无需任何人工干预。
4. 本地部署指南：连接你的真机
要体验这项能力，你需要在本地电脑配置控制端，通过ADB连接安卓设备，并调用云端AI模型。
4.1 硬件与环境准备
- 操作系统：Windows 或 macOS
- Python版本：建议 3.10+
- 安卓设备：Android 7.0以上的真实手机或模拟器
- ADB工具：Android SDK Platform Tools
ADB安装与配置
Windows用户：
- 下载 Platform Tools
- 解压后，将文件夹路径添加到系统环境变量
Path - 打开命令行，输入
adb version验证是否成功
macOS用户： 在终端执行以下命令（假设解压目录为~/Downloads/platform-tools）：
export PATH=${PATH}:~/Downloads/platform-tools可将其写入.zshrc或.bash_profile实现永久生效。
4.2 手机端设置
开启开发者模式
进入“设置” → “关于手机” → 连续点击“版本号”7次，直到提示“您已进入开发者模式”。启用USB调试
返回设置主菜单 → “开发者选项” → 开启“USB调试”。安装ADB Keyboard（推荐）
下载并安装 ADB Keyboard APK，然后在“语言与输入法”中将其设为默认输入法。这样AI就能通过ADB发送文本，无需依赖虚拟键盘。
4.3 部署控制端代码
在本地电脑执行：
# 克隆仓库 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装依赖 pip install -r requirements.txt pip install -e .4.4 设备连接方式
确保手机通过USB连接电脑，或处于同一局域网内。
USB连接
adb devices若输出类似emulator-5554 device，表示连接成功。
WiFi无线连接（远程调试）
首次需用USB连接，然后启用TCP/IP模式：
adb tcpip 5555断开USB线，使用IP连接：
adb connect 192.168.x.x:5555之后即可通过网络远程控制设备。
5. 启动你的AI助理
一切就绪后，运行主程序：
python main.py \ --device-id 192.168.1.100:5555 \ --base-url http://your-server-ip:8800/v1 \ --model "autoglm-phone-9b" \ "打开小红书搜索最近的咖啡馆"参数说明：
--device-id：通过adb devices获取的设备标识--base-url：云服务器上vLLM服务的地址（如http://192.168.1.100:8800/v1）--model：指定使用的模型名称- 最后的字符串：你的自然语言指令
你也可以通过Python API集成到自己的项目中：
from phone_agent.adb import ADBConnection, list_devices conn = ADBConnection() success, msg = conn.connect("192.168.1.100:5555") print(f"连接状态: {msg}") devices = list_devices() for d in devices: print(f"{d.device_id} - {d.connection_type.value}")6. 常见问题与优化建议
6.1 连接类问题
| 问题 | 可能原因 | 解决方案 |
|---|---|---|
adb devices无设备 | USB调试未开启 | 检查开发者选项 |
| 连接被拒绝 | 防火墙阻断端口 | 放行8800等映射端口 |
| ADB频繁掉线 | WiFi信号弱 | 改用USB连接或优化网络 |
6.2 模型响应异常
- 现象：输出乱码、无响应、操作错误
- 检查项：
- vLLM启动参数是否包含
--max-model-len 8192？ - GPU显存是否足够？9B模型建议至少16GB
base-url是否正确指向/v1接口？
- vLLM启动参数是否包含
6.3 提升成功率的小技巧
指令尽量具体
❌ “处理一下会议”
“查看微信群最新消息，如果有会议，请添加到日历”保持界面简洁
避免多个App同时弹窗，减少干扰信息。定期重启ADB服务
长时间运行后可能出现通信延迟，可执行adb kill-server && adb start-server重置。
7. 总结：迈向真正的智能助理时代
AutoGLM-Phone不仅仅是一个自动化工具，它代表了一种全新的交互范式：用自然语言指挥手机完成复杂任务。在这个案例中，我们将零散的会议信息自动同步到日历，省去了复制、切换、粘贴的繁琐步骤。
更重要的是，这套框架是开源的。你可以基于它构建专属的AI助手——比如：
- 自动抢票：监控12306余票并下单
- 跨平台同步：将微博热搜一键转发到朋友圈
- 智能客服：自动回复电商平台的常见咨询
技术正在从“被动响应”走向“主动服务”。而Open-AutoGLM，正是这一转变的重要一步。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。