这是一款功能丰富的自动化操作工具,具备直观 GUI 界面(AutomationOperation.exe )。可通过左侧菜单拖动或双击添加操作,右侧菜单能调整操作顺序、删除任务 。支持鼠标移动(相对 / 绝对坐标可选 )、单击、双击、拖动,键盘输入(含复制粘贴 )、特殊按键组合(win/shift/ctrl/alt ),还可识别图片、设置延时、打开文件 / 文件夹 。在设置中可配置快捷键,保存配置到 AppSettings.json ,控制台程序可按配置执行任务,灵活满足自动化操作需求。
一、核心功能汇总
(一)界面与配置管理
- 主界面操作
- 左侧菜单支持拖动、滚动插入内容,可通过三种方式调整模板顺序:选择插入位置后拖入内容;按住
Ctrl+上下方向键调整;拖动内容并在边缘滚轮调节。 - 支持
Ctrl+Alt+↑/↓一次性移动模板列表10个序号,Alt+滚轮可快速滚动操作列表。 - 模板支持
Shift/Ctrl+左键多选,选中后按Ctrl+C/Ctrl+V复制粘贴;左侧菜单右键可按序列号插入,且插入界面位置靠近鼠标位置。 - 主界面显示控制:选点时隐藏主界面;简化视图下仅显示序号、模板名、说明编辑框、是否执行复选框;每页最多显示25个模板,支持分页显示。
- 模板执行控制:可勾选单个模板是否执行,取消勾选则模板变暗并在全部执行时跳过;支持单步执行(默认
F10),执行后选中顺序顺延;新增暂停/继续按钮(默认F6,可在设置界面修改快捷键)。
- 左侧菜单支持拖动、滚动插入内容,可通过三种方式调整模板顺序:选择插入位置后拖入内容;按住
- 配置文件操作
- 配置名可直接在设置界面修改,按保存配置按钮保存,也可浏览打开其他配置;支持保存/另存为、新建、清除配置按钮,空白配置也能保存。
- 配置加载逻辑优化:可将配置放入不同文件夹后加载,修改文件名后保存当前配置可直接保存新名称;加载配置时可选择是否清除覆盖原配置(不清除则可累加)。
- 配置快捷键:支持动态添加最多10个快捷键,快捷键注册失败会报错;修复设置快捷键时的执行bug,解决快捷键取消失败问题。
- 批量配置处理:多序号(50+)配置支持分批异步保存/加载,标题栏显示进度条;全部执行的配置文件名会显示在标题中;执行完后可设置是否启用下一个配置。
- 同目录下仅允许打开一个软件实例,防止多开冲突。
(二)录制功能
- 基础录制:支持录制鼠标单击、双击、拖动,键盘输入(识别后转换为特殊按键);录制鼠标滚轮功能(含
Ctrl+滚轮、Shift+滚轮)并更新录制内容。 - 截图与识别录制:录制时按下
Shift+Q或点击界面按钮可触发截屏操作,用于图片识别;修复录制时选择窗口坐标的相关bug,优化不同缩放下窗口的截图、框选、颜色拾取显示。 - 录制优化:取消录制的预加载和定时保存(避免内存泄露);修复录制结束后的弹窗问题。
(三)坐标与窗口控制
- 坐标模式:鼠标支持绝对坐标、相对坐标、窗口坐标三种模式(录制前选择);修复相对点坐标选点时仅显示绝对坐标的问题;若移动坐标与当前坐标一致,则不执行移动操作。
- 窗口句柄与绑定
- 窗口坐标模式下,可选点或录制时绑定窗口获取句柄(仅完整视图显示),执行时优先使用句柄,句柄失效则退回找窗口/程序,重新打开软件后句柄需重新绑定(可手动输入);浏览器多窗口模式下需句柄对应。
- 键盘输入、特殊按键、图片/颜色/文字识别功能均支持窗口绑定,可选择句柄自动绑定或手动输入;设置界面新增窗口句柄一键绑定,主界面句柄默认同步设置界面选择。
- 窗口操作:新增移动窗口模板(后台点击时可移动窗口,用完后移回,需窗口可移动);浏览器打开时可设置窗口大小(最大化/自定义宽高)。
- 后台窗口处理:后台点击前锁定前台窗口,将目标窗口置于Z轴底层(模拟激活状态);也可将窗口移出显示区域实现无遮挡后台操作,完善后台点击(支持窗口最小化、无遮挡场景)。
(四)识别功能(图片/颜色/文字/OCR)
图片识别、颜色识别、文字识别(OCR)三大功能进行了全面优化与扩展:图片识别方面,不仅完善了全屏 / 框选识别、Base64 保存及报错提示等基础功能,还支持最多 5 张图片的多图识别,提供按优先级找一个点击等三种执行模式,同时优化了后台等待、灰度处理与哈希比较等识别逻辑,新增 DXGI 识别方式和随机点模式,修复了多图保存、循环闪退等 bug,并配备停止、继续等 5 种失败处理方式及注释功能;颜色识别支持框选区域、放大镜查看 RGB 值与方向键微调操作,新增多颜色并行搜索及左键按下 / 弹起操作,失败处理与图片识别保持一致;文字识别集成 PaddleOCR(1.54 版本),优化了识别效果与报错信息,支持结果复制到剪贴板、输出布尔型变量,新增等待文字出现 / 消失的条件,失败处理也与图片、颜色识别统一。
(五)鼠标与键盘操作
- 鼠标操作
- 基础操作:单击操作中加入左键按下、左键弹起;双击操作修复“不点击无效”的bug;图片/颜色识别中加入左键按下、左键弹起操作。
- 移动优化:移动方式加入贝塞尔曲线(模仿真实移动),支持移动、点击、双击、拖动及各类识别操作的移动优化;加入驱动鼠标功能(参考MouseControl项目)。
- 点击优化:单击点击后可设置延时(建议500ms,防止重复点击触发双击);颜色/文字/图片识别的“点击”操作改为“移动”,优化非窗口坐标下的模板显示。
- 键盘操作
- 基础输入:键盘输入识别后转换为特殊按键;特殊按键加入只按下、只释放功能(可按住一段时间后释放);修复Win7下DPI感知问题(调用SetProcessDPIAware())。
- 输入优化:去除键盘输入前的点击操作(可在前台模式下手动设置是否点击输入前点击);前后台模式切换时界面立即更新。
(六)等待条件与错误处理
- 等待条件
- 基础等待:优化等待图片出现功能,加入后台等待;新增等待图片未出现、等待文字出现、等待文字消失条件;加入“无限等待”(实际为超长超时时间)。
- 失败处理:等待操作的失败条件支持5种处理方式(与图片识别一致);超时时间设置支持文本框实时更新值。
- 错误处理
- 全局设置:在设置-主界面设置中可选择报错后是否停止运行(不选则继续运行);修复选择“报错后停止”时单步执行闪退的问题。
- 日志功能:设置界面加入日志保存相关设置,更新日志内容,添加更多报错日志信息;快捷键注册失败、图片/文字识别错误等均会记录日志。
(七)浏览器模式
- 浏览器管理:支持打开/关闭浏览器(Edge/Chromium/Firefox/WebKit),选择有头/无头模式;加入登录复用功能;打开时可设置窗口大小(最大化/自定义宽高)。
- 浏览器操作
- 页面跳转:支持变量URL跳转;
- 浏览器点击:可根据CSS Path、ID等选择器类型选元素,支持左键、右键等点击方式;
- 浏览器输入:选择元素后,留空则读取元素内容并复制到剪贴板,有内容则输入到元素中;
- 浏览器截图:支持浏览器页面截图。
- 智能选择器:浏览器点击/输入模板中加入智能选择器(需先以有头模式打开Edge,导航到目标页面后点击选择器,点击页面元素自动生成选择器类型,可测试或手动复制selector)。
(八)变量管理系统
- 基础变量:在设置界面添加变量,支持读取/存入变量(文字识别、浏览器输入),修改变量(加减乘除、数学表达式、拼接、替换、字符串转列表等),输出变量(文字识别点击、键盘输入、浏览器输出);延迟操作支持变量时间。
- Excel变量:支持读取单个单元格、指定范围、整个工作表、指定行/列;可使用变量指定列、行、单元格;提供Excel读取单元格转网址实例。
- 列表变量:支持读取文件名并输出到列表;变量操作支持列表,可配合内循环实现列表循环操作(内循环开始-输出变量-列表索引-内循环结束);文件名修改支持手动输入或变量输入。
- 内循环操作:加入内循环开始/结束/跳出(跳出条件为布尔型变量);修复内循环开始无法刷新变量的问题;图片/文字识别结果可输出为布尔型变量。
(九)后台执行与自动化
- 后台模式:设置界面的自动化执行模式中,后台模式支持图片测试(选择目标窗口测试后台是否能识别图片,为后续识别功能提供前提);后台模式下快捷键使用多进程模式。
- 屏幕截图:支持DXGI、GDI、PrintWindow三种截图方式,后台图片识别可选择对应方式。
- 强制操作:加入强制关闭程序功能,防止操作无法取消的情况;修复快捷键取消失败问题。
(十)界面外观与交互
- 主题与颜色:支持调整界面主题、左侧菜单颜色;优化主界面菜单的颜色与布局;优化插入线显示(上下移动模板时不闪烁)。
- 托盘菜单:调整托盘菜单功能,可在配置设置中选择是否显示托盘菜单;Win7下弹窗改用传统气泡,Win10使用toast通知。
快捷键 | 功能描述 |
| 调整主界面右侧菜单/左侧模板的顺序;配合滚轮可在边缘调节模板内容顺序 |
| 录制时触发截屏操作(用于图片识别) |
| 模板列表一次移动10个序号 |
| 单步执行(默认),执行当前选中操作并顺延选中顺序 |
| 暂停/继续执行(默认,可在设置界面修改) |
| 复制粘贴模板(支持 |
| 快速滚动操作列表 |
| 颜色识别时微调选色区域;确认颜色界面中调整颜色选择位置 |
| 颜色识别时确认选择的颜色 |
鼠标左键 | 颜色识别时确认选择的颜色;智能选择器中点击页面元素生成选择器 |
鼠标滚轮(含 | 录制时识别并记录滚轮操作;主界面拖动模板时边缘滚轮调节内容 |