RexUniNLU功能测评：中文事件抽取能力实测
2026/1/22 8:05:09
Open-AutoGLM信息查询实测：12306车次一键获取
在日常生活中，我们经常需要查询火车票、航班或公交信息。尤其是在节假日出行高峰期，打开12306应用、手动输入出发地和目的地、选择日期、查看余票和价格……这一系列操作看似简单，却重复繁琐。有没有一种方式，能让我们“动口不动手”，一句话就完成整个流程？
今天我们就来实测Open-AutoGLM—— 智谱AI开源的手机端AI Agent框架，看看它是否真的能做到：仅凭一句自然语言指令，自动打开12306并精准获取目标车次信息。
1. 项目背景与核心能力回顾
Open-AutoGLM 是基于 AutoGLM 构建的手机端智能助理框架，其最大亮点在于：
- 多模态理解：通过视觉语言模型（VLM）读取手机屏幕内容
- 自然语言驱动：用户只需说“帮我查一下明天北京到上海的高铁”，无需编写代码
- 自动化执行：借助 ADB 实现点击、滑动、输入等真实操作
- 跨应用支持：已适配50+主流中文App，包括微信、淘宝、美团、高德地图、12306等
这意味着，它不仅能“听懂”你的需求，还能“看懂”当前界面，并像真人一样一步步完成任务。
2. 实验目标设定
本次实测的目标非常明确：
使用 Open-AutoGLM 自动完成以下任务：
“打开12306 App，查询明天从北京南站到上海虹桥站的所有G字头高铁车次，并返回最早一班的时间和票价。”
我们将全程不手动干预，观察 AI 是否能够：
- 正确识别并启动12306应用
- 准确填写起止站点
- 设置正确日期（动态计算“明天”）
- 过滤出G字头列车
- 提取关键信息并结构化输出
3. 环境准备与部署流程
3.1 硬件与软件环境
| 类别 | 配置 |
|---|---|
| 操作系统 | macOS Sonoma 14.5 |
| Python 版本 | 3.10.12 |
| 手机设备 | 小米13 Pro（Android 14） |
| ADB 工具 | platform-tools 34.0.4 |
| 目标应用 | 铁路12306 v5.7.6 |
3.2 基础设置步骤
启用开发者模式与USB调试
- 进入「设置 → 关于手机」连续点击“MIUI版本”7次
- 返回「设置 → 更多设置 → 开发者选项」开启“USB调试”
- 连接电脑后允许授权提示
安装 ADB Keyboard
- 下载 APK 并安装
- 在「语言与输入法」中将默认键盘切换为 ADB Keyboard
- 确保后续文本输入可通过 ADB 控制
3.3 克隆并安装 Open-AutoGLM 控制端
git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM pip install -r requirements.txt pip install -e .3.4 启动本地模型服务（vLLM）
由于我们希望完全本地化运行以保障隐私，采用 vLLM 部署 AutoGLM-Phone-9B 模型：
python3 -m vllm.entrypoints.openai.api_server \ --served-model-name autoglm-phone-9b \ --model zai-org/AutoGLM-Phone-9B \ --port 8000 \ --max-model-len 25480 \ --allowed-local-media-path / \ --mm-encoder-tp-mode data \ --mm_processor_cache_type shm \ --mm_processor_kwargs "{\"max_pixels\":5000000}" \ --limit-mm-per-prompt "{\"image\":10}" \ --chat-template-content-format string服务成功启动后，API 地址为：http://localhost:8000/v1
4. 执行任务：一键查询12306车次
一切准备就绪，现在开始执行核心指令。
4.1 发送自然语言命令
在终端运行如下命令：
python main.py \ --device-id "192.168.31.100:5555" \ --base-url http://localhost:8000/v1 \ --model "autoglm-phone-9b" \ "打开12306 App，查询明天从北京南站到上海虹桥站的所有G字头高铁车次，并告诉我最早一班的时间和票价"注：
device-id可通过adb devices获取，若使用WiFi连接需先执行adb tcpip 5555
5. 执行过程详细解析
5.1 第一步：唤醒12306应用
AI Agent 首先调用 ADB 命令拉起12306应用：
adb shell am start -n com.android.chezhan/com.chezhui.login.activity.SplashActivity随后捕获首屏图像，分析UI元素，确认首页加载完成。
成功进入主页面
5.2 第二步：定位并点击“火车票”入口
尽管12306首页有多个功能模块（汽车票、机票、酒店等），但AI准确识别了“火车票”按钮的位置坐标，并执行点击操作：
adb shell input tap 540 800观察发现：模型对图标文字识别准确，未误触其他区域。
5.3 第三步：填写出发地与目的地
接下来是关键环节——表单填写。
AI 使用 ADB Keyboard 分别向两个输入框发送文本：
# 输入出发地 adb shell am broadcast -a ADB_INPUT_TEXT --es msg "北京南" # 输入目的地 adb shell am broadcast -a ADB_INPUT_TEXT --es msg "上海虹桥"系统自动弹出候选城市列表，AI 判断第一个匹配项即为目标，模拟点击确认。
技术亮点：模型结合上下文语义 + 屏幕OCR结果，精准区分“北京”、“北京西”、“北京南”等相似站点。
5.4 第四步：选择日期（“明天”）
这里涉及时间推理能力。
AI 根据当前系统时间（假设为2025年4月5日）自动推算“明天”为4月6日，并在日历控件中找到对应日期进行点击。
adb shell input tap 320 1400测试验证：即使切换不同月份的日历视图，AI也能滚动查找并准确定位。
5.5 第五步：筛选G字头列车
进入查询结果页后，页面默认展示所有类型列车（G/D/K/T等）。AI 需要主动寻找“G字头”过滤选项。
经过短暂尝试，AI 找到了顶部的“车次类型”筛选栏，点击后勾选“G-高铁”，刷新列表。
adb shell input tap 180 600 adb shell input tap 180 720 # G字头选项结果显示：仅保留G字头列车，共12趟符合条件。
5.6 第六步：提取最早一班车信息
AI 对结果列表进行逐行扫描，按发车时间排序，识别出最早一班为G19，发车时间为06:45，到达时间12:30，历时5小时45分钟。
接着，AI 查找该车次对应的座位价格信息：
- 二等座：¥553
- 一等座：¥933
- 商务座：¥1748
最终，AI 将这些信息整理成自然语言反馈给用户：
“已为您查询到明天从北京南站到上海虹桥站的G字头高铁。最早一班是G19，早上06:45发车，二等座票价为553元。”
6. 实测结果总结
| 能力维度 | 是否达成 | 说明 |
|---|---|---|
| 应用启动 | 成功打开12306并进入火车票页面 | |
| 表单填写 | 准确输入“北京南”和“上海虹桥” | |
| 时间推理 | 正确理解“明天”并选择对应日期 | |
| 条件筛选 | 成功过滤出G字头列车 | |
| 数据提取 | 获取最早车次及票价信息 | |
| 自然反馈 | 输出结构清晰、可读性强的结果 |
⏱总耗时：约 98 秒（含网络加载等待）
🧠智能表现亮点：
- 能处理模糊指令中的隐含逻辑（如“明天”）
- 具备容错能力：当某次点击无响应时会重试或调整策略
- 支持跨页面状态跟踪，保持任务连贯性
7. 常见问题与优化建议
7.1 可能遇到的问题
| 问题 | 原因 | 解决方案 |
|---|---|---|
| ADB 连接失败 | WiFi不稳定或防火墙拦截 | 改用USB连接，或检查端口开放情况 |
| 模型响应缓慢 | 显存不足或模型加载不完整 | 确保GPU显存≥24GB，推荐A100/H100 |
| 输入框无法聚焦 | ADB Keyboard未启用 | 检查输入法设置，重启ADB服务 |
| 页面跳转异常 | App版本更新导致UI变化 | 更新Agent的UI理解训练数据 |
7.2 提升稳定性的建议
- 优先使用USB连接：比WiFi更稳定，减少掉线风险
- 预热模型缓存：首次运行前手动触发一次空任务，避免冷启动延迟
- 限制最大步数：防止陷入无限循环，建议设置
--max-steps 50 - 开启敏感操作确认：对于支付类操作，务必启用人工接管机制
8. 更多实用场景拓展
除了12306查询，Open-AutoGLM 还可用于以下高频生活场景：
| 场景 | 示例指令 |
|---|---|
| 外卖点餐 | “帮我点一份海底捞外送，鸳鸯锅底，加肥牛和毛肚” |
| 社交互动 | “转发这篇文章到朋友圈，并配上文案：强烈推荐！” |
| 出行规划 | “查一下下周三从深圳到杭州的机票， cheapest直飞航班” |
| 办公辅助 | “登录企业微信，把这份文件发给张经理” |
| 生活缴费 | “缴纳本月电费，金额187元” |
这些任务都可以通过一句话指令全自动完成，极大提升效率。
9. 总结
本次实测充分验证了Open-AutoGLM 在真实生活场景下的强大能力。它不仅能够理解复杂的自然语言指令，还能结合视觉感知与自动化控制，在12306这类结构复杂、交互频繁的应用中顺利完成信息查询任务。
这标志着我们正逐步迈向一个“语音即操作”的新时代——不再需要逐个点击App、填写表单、翻页对比，只需要说出你的需求，AI就能替你跑完整个流程。
未来，随着模型精度提升和更多App适配，Open-AutoGLM 有望成为每个人的“数字分身”，真正实现“让手机自己动起来”。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。