中文ITN文本标准化实战｜基于FST ITN-ZH镜像高效转换日期、数字与货币
2026/1/15 7:07:55
SenseVoice Small保姆级教程：语音识别系统开发
1. 引言
1.1 学习目标
本文旨在为开发者和研究人员提供一份完整的SenseVoice Small语音识别系统的使用与二次开发指南。通过本教程，您将掌握：
- 如何部署并运行基于 WebUI 的语音识别服务
- 多语言语音转文字的核心功能操作
- 情感标签与事件标签的识别机制
- 高级配置参数的实际意义与调优建议
- 常见问题排查方法及性能优化技巧
完成学习后，您可以快速将其集成到智能客服、情感分析、会议记录等实际应用场景中。
1.2 前置知识
在阅读本教程前，请确保具备以下基础能力：
- 熟悉 Linux 终端基本命令
- 了解音频文件格式（如 WAV、MP3）
- 具备基础的网页交互常识
- 若需二次开发，建议掌握 Python 和前端 HTML/CSS/JS 基础
2. 环境准备与启动方式
2.1 启动应用
系统已预装run.sh脚本，支持开机自动启动 WebUI 服务。若服务未运行或需要重启，请进入 JupyterLab 并执行以下命令：
/bin/bash /root/run.sh该脚本会自动拉起 FastAPI 后端与 Gradio 前端界面，监听默认端口7860。
重要提示：请勿手动终止此进程，否则 WebUI 将无法访问。
2.2 访问地址
服务启动成功后，在浏览器中打开：
http://localhost:7860即可进入SenseVoice WebUI主界面。若部署在远程服务器上，请替换localhost为对应 IP 地址，并确保防火墙开放 7860 端口。
3. 界面布局与功能模块解析
3.1 整体页面结构
WebUI 采用简洁清晰的双栏式设计，左侧为主操作区，右侧为示例引导区：
┌─────────────────────────────────────────────────────────┐ │ [紫蓝渐变标题] SenseVoice WebUI │ │ webUI二次开发 by 科哥 | 微信：312088415 │ ├─────────────────────────────────────────────────────────┤ │ 📖 使用说明 │ ├──────────────────────┬──────────────────────────────────┤ │ 🎤 上传音频 │ 💡 示例音频 │ │ 🌐 语言选择 │ - zh.mp3 (中文) │ │ ⚙️ 配置选项 │ - en.mp3 (英文) │ │ 🚀 开始识别 │ - ja.mp3 (日语) │ │ 📝 识别结果 │ - ko.mp3 (韩语) │ └──────────────────────┴──────────────────────────────────┘3.2 功能模块详解
| 图标 | 模块名称 | 功能描述 |
|---|---|---|
| 🎤 | 上传音频 | 支持本地上传或麦克风实时录音 |
| 🌐 | 语言选择 | 设置识别语言模式 |
| ⚙️ | 配置选项 | 展开高级参数设置 |
| 🚀 | 开始识别 | 触发语音识别流程 |
| 📝 | 识别结果 | 显示带情感与事件标签的文本输出 |
右侧“💡 示例音频”提供多种测试样本，便于快速体验多语种与复杂场景下的识别效果。
4. 核心使用步骤详解
4.1 步骤一：上传音频文件或录音
方式一：上传本地音频
- 点击🎤 上传音频或使用麦克风区域
- 从本地选择一个音频文件
- 支持格式包括：
.mp3,.wav,.m4a,.flac等常见类型 - 文件大小无硬性限制，但建议控制在 10MB 以内以提升响应速度
方式二：使用麦克风录音
- 点击区域右侧的麦克风图标
- 浏览器弹出权限请求时点击“允许”
- 红色按钮开始录制，再次点击停止
- 录音完成后自动上传至后端处理
注意：首次使用需授权麦克风权限；部分浏览器可能不支持长时间录音。
4.2 步骤二：选择识别语言
点击下拉菜单选择目标语言，推荐优先使用auto自动检测模式：
| 选项 | 说明 |
|---|---|
| auto | 自动识别语种（推荐用于混合语言或不确定语种） |
| zh | 中文普通话 |
| yue | 粤语 |
| en | 英语 |
| ja | 日语 |
| ko | 韩语 |
| nospeech | 强制跳过语音内容分析 |
对于方言或口音较重的语音，auto模式通常能获得更鲁棒的表现。
4.3 步骤三：启动识别任务
点击🚀 开始识别按钮，系统将执行以下流程：
- 音频解码 → 2. VAD（语音活动检测）→ 3. ASR（自动语音识别）→ 4. 情感分类 → 5. 事件检测 → 6. 输出结构化文本
识别耗时与音频长度成正比，参考如下：
| 音频时长 | 平均处理时间（GPU环境） |
|---|---|
| 10秒 | 0.5 ~ 1 秒 |
| 30秒 | 2 ~ 3 秒 |
| 1分钟 | 4 ~ 6 秒 |
CPU环境下处理时间约为 GPU 的 2~3 倍。
4.4 步骤四：查看并解析识别结果
识别结果展示于📝 识别结果文本框中，包含三个关键信息层：
（1）文本内容
原始语音转换后的可读文字，经过逆文本正则化（ITN）处理，数字、单位等表达更符合人类阅读习惯。
示例：
开放时间早上9点至下午5点。（2）情感标签（结尾标注）
表示说话人的情绪状态，以表情符号 + 括号内英文标识呈现：
| 表情 | 情感类别 | 对应标签 |
|---|---|---|
| 😊 | 开心 | HAPPY |
| 😡 | 生气/激动 | ANGRY |
| 😔 | 伤心 | SAD |
| 😰 | 恐惧 | FEARFUL |
| 🤢 | 厌恶 | DISGUSTED |
| 😮 | 惊讶 | SURPRISED |
| (无) | 中性 | NEUTRAL |
（3）事件标签（开头标注）
反映背景中的非语音事件，多个事件可叠加显示：
| 符号 | 事件类型 | 对应标签 |
|---|---|---|
| 🎼 | 背景音乐 | BGM |
| 👏 | 掌声 | Applause |
| 😀 | 笑声 | Laughter |
| 😭 | 哭声 | Cry |
| 🤧 | 咳嗽/喷嚏 | Cough/Sneeze |
| 📞 | 电话铃声 | Ringtone |
| 🚗 | 引擎声 | Engine |
| 🚶 | 脚步声 | Footsteps |
| 🚪 | 开门声 | Door Open/Close |
| 🚨 | 警报声 | Alarm |
| ⌨️ | 键盘敲击声 | Keyboard Typing |
| 🖱️ | 鼠标点击声 | Mouse Click |
完整示例：
🎼😀欢迎收听本期节目，我是主持人小明。😊- 背景有音乐和笑声
- 内容为欢迎语
- 主持人情绪积极（开心）
5. 高级配置选项说明
点击⚙️ 配置选项可展开以下参数，一般情况下无需修改，默认值已适配大多数场景：
| 参数名 | 说明 | 默认值 |
|---|---|---|
| 语言 | 识别语言设定 | auto |
| use_itn | 是否启用逆文本标准化（如“50”转为“五十”） | True |
| merge_vad | 是否合并相邻语音片段，减少断句 | True |
| batch_size_s | 动态批处理时间窗口（秒），影响内存占用与延迟 | 60 |
进阶建议： - 在低延迟要求场景（如实时字幕），可将
batch_size_s设为 10~20 - 若发现句子被错误切分，关闭merge_vad查看是否改善 -use_itn=False适用于需要保留原始数字格式的数据采集任务
6. 示例音频测试与验证
系统内置多个高质量示例音频，可用于快速验证功能完整性：
| 文件名 | 语言 | 特点描述 |
|---|---|---|
| zh.mp3 | 中文 | 日常对话，含轻微背景噪音 |
| yue.mp3 | 粤语 | 方言识别能力测试 |
| en.mp3 | 英文 | 清晰朗读，标准发音 |
| ja.mp3 | 日语 | 动漫风格语音识别 |
| ko.mp3 | 韩语 | K-pop 相关语音 |
| emo_1.wav | 自动 | 明显情感波动（愤怒→平静） |
| rich_1.wav | 自动 | 多事件叠加（笑声+掌声+背景乐） |
点击任意示例即可自动加载并触发识别，适合新用户快速上手。
7. 性能优化与最佳实践
7.1 提升识别准确率的关键因素
| 因素 | 推荐做法 |
|---|---|
| 音频质量 | 使用 16kHz 以上采样率，优先选用 WAV 无损格式 |
| 信噪比 | 在安静环境中录制，避免空调、风扇等持续噪声 |
| 麦克风设备 | 使用指向性麦克风，远离扬声器防回声 |
| 语速控制 | 保持自然语速，避免过快连读或吞音 |
| 语言选择 | 已知语种时明确指定，提高模型专注度 |
7.2 批量处理建议
虽然当前 WebUI 不支持批量上传，但可通过以下方式实现自动化处理：
# 示例：使用 requests 调用 API 接口进行批量识别 import requests url = "http://localhost:7860/api/predict/" files = {'audio': open('test.mp3', 'rb')} data = { 'lang': 'auto', 'use_itn': True, 'merge_vad': True } response = requests.post(url, files=files, data=data) print(response.json()['data'][0])注：需确认后端暴露了
/api/predict/接口，具体路径参考源码app.py
7.3 GPU 加速建议
若部署环境配备 NVIDIA 显卡，请确保安装正确驱动与 CUDA 库，并在启动脚本中启用 GPU 模式：
CUDA_VISIBLE_DEVICES=0 python app.py --device cuda可显著提升长音频处理效率，降低整体延迟。
8. 常见问题与解决方案
8.1 Q: 上传音频后无反应？
可能原因： - 文件损坏或编码异常 - 浏览器缓存导致界面卡死
解决方法： - 更换其他音频尝试 - 刷新页面或更换浏览器（推荐 Chrome/Firefox）
8.2 Q: 识别结果不准确？
排查方向： - 检查音频是否存在严重噪声或失真 - 确认语言选择是否匹配实际语种 - 尝试切换为auto模式重新识别
进阶建议： - 使用 Audacity 等工具预处理降噪 - 分段上传长音频，避免信息丢失
8.3 Q: 识别速度慢？
原因分析： - 音频过长（>5分钟）导致单次推理负担重 - CPU 占用过高或内存不足 - 未启用 GPU 加速
优化措施： - 拆分为 1~2 分钟片段分别处理 - 关闭无关程序释放资源 - 升级至 GPU 实例或启用批处理优化
8.4 Q: 如何复制识别结果？
点击📝 识别结果文本框右侧的“复制”按钮即可一键复制全部内容，支持粘贴至 Word、Notepad++ 等编辑器。
9. 二次开发指引
本项目由科哥在开源项目 FunAudioLLM/SenseVoice 基础上进行 WebUI 二次开发，主要改进包括：
- 添加图形化界面（Gradio）
- 集成情感与事件标签可视化
- 支持多语种自动切换
- 优化 VAD 分段逻辑
9.1 代码结构概览
/root/ ├── run.sh # 启动脚本 ├── app.py # Gradio 主程序 ├── model/ # 模型权重目录 ├── assets/ # 示例音频与静态资源 └── requirements.txt # 依赖库清单9.2 自定义扩展建议
（1）新增语言支持
修改app.py中的语言选项列表，并确保模型支持该语种：
language_options = ["auto", "zh", "en", "yue", "ja", "ko", "fr", "es"]（2）添加自定义事件标签
可在后处理函数中加入规则引擎判断：
def add_custom_tags(text): if "thank you" in text.lower(): return "🙏" + text return text（3）对接外部系统
通过暴露 REST API 或 WebSocket 接口，可将识别结果推送至 CRM、工单系统或数据库。
10. 总结
10.1 核心价值回顾
SenseVoice Small 结合了高精度语音识别与多模态感知能力，不仅能够转写语音内容，还能同步提取：
- 说话人的情感倾向
- 背景中的环境事件
- 多语言混合识别能力
这使得它在智能座舱、心理评估、在线教育、视频内容理解等领域具有广泛的应用潜力。
10.2 实践建议
- 生产环境部署：建议使用 Docker 容器化封装，结合 Nginx 做反向代理与 HTTPS 加密
- 数据安全：敏感语音应在本地处理，避免上传至公网服务
- 持续迭代：关注上游 FunAudioLLM/SenseVoice 更新，定期同步新特性
10.3 下一步学习路径
- 学习如何训练定制化声学模型
- 探索 Whisper 架构与 SenseVoice 的差异
- 实现端到端流水线：录音 → 识别 → NLP 分析 → 数据入库
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。