濮阳市网站建设_网站建设公司_云服务器_seo优化

移动端音频上传：SenseVoiceSmall RESTful接口调用教程

1. 教程目标与适用人群

你是否正在寻找一种高效、准确且支持多语言的语音识别方案？尤其是当你需要在移动端采集音频，并快速获取带情感和声音事件标注的转录结果时，SenseVoiceSmall正是为此而生。

本教程专为希望将移动端录音上传至后端服务并调用 SenseVoiceSmall 模型进行富文本识别的开发者设计。我们将手把手教你如何搭建一个可被移动 App 调用的 RESTful 接口，实现从“用户点击录音”到“返回带情绪标签的文字”的完整链路。

无需深入模型原理，也不必纠结复杂部署——只要你会写一点 Python 和 HTTP 请求，就能轻松集成。

✅ 学完你能掌握：

• 如何将 Gradio 应用改造成 RESTful API
• 如何接收移动端上传的音频文件
• 如何调用 SenseVoiceSmall 实现多语种 + 情感 + 声音事件识别
• 如何返回结构化 JSON 结果供 App 使用

2. 核心功能回顾：为什么选择 SenseVoiceSmall？

在进入技术实现前，先快速回顾一下这个模型的强大之处：

• 多语言支持：中文普通话、英文、粤语、日语、韩语一键识别。
• 不只是文字：能检测说话人的情绪（开心、愤怒、悲伤）以及背景中的掌声、笑声、BGM 等声音事件。
• 高性能低延迟：基于非自回归架构，在主流 GPU 上可实现秒级转写。
• 开箱即用：镜像已集成funasr和modelscope，只需加载模型即可推理。

这些特性让它非常适合用于智能客服对话分析、教育场景情绪反馈、社交内容自动打标等实际业务中。

而我们今天的目标，就是让手机也能“用上”这份能力。

3. 将 WebUI 改造成 RESTful API 服务

Gradio 很适合做演示界面，但不适合直接对接 App。我们需要将其核心识别逻辑抽离出来，封装成标准的 HTTP 接口。

3.1 安装依赖环境

确保你的环境中已安装以下库：

pip install fastapi uvicorn python-multipart av torch

• fastapi：构建 RESTful 接口的核心框架
• uvicorn：高性能 ASGI 服务器
• python-multipart：支持接收 form-data 格式的文件上传
• av：高效音频解码（比 librosa 快得多）

3.2 创建 API 主程序：api_sensevoice.py

新建文件api_sensevoice.py，内容如下：

from fastapi import FastAPI, UploadFile, File, Form, HTTPException from fastapi.responses import JSONResponse import os import uuid import logging # 加载 SenseVoice 模型 from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess # 初始化 FastAPI 应用 app = FastAPI(title="SenseVoiceSmall API", description="多语言语音识别 + 情感/事件检测") # 配置日志 logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) # 临时存储上传音频的目录 UPLOAD_DIR = "./uploads" os.makedirs(UPLOAD_DIR, exist_ok=True) # 初始化模型（启动时加载一次） model_id = "iic/SenseVoiceSmall" model = AutoModel( model=model_id, trust_remote_code=True, vad_model="fsmn-vad", vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0" # 若无 GPU 可改为 "cpu" ) @app.post("/transcribe", summary="上传音频并执行语音识别") async def transcribe_audio( audio: UploadFile = File(..., description="上传的音频文件，支持 wav/mp3/flac"), language: str = Form("auto", description="指定语言：auto/zh/en/yue/ja/ko") ): # 检查文件类型 if not audio.content_type.startswith("audio/"): raise HTTPException(status_code=400, detail="仅支持音频文件") # 生成唯一文件名防止冲突 file_id = str(uuid.uuid4()) file_path = os.path.join(UPLOAD_DIR, f"{file_id}.wav") try: # 保存上传的音频 with open(file_path, "wb") as f: f.write(await audio.read()) logger.info(f"已保存音频文件：{file_path}") # 调用模型识别 res = model.generate( input=file_path, cache={}, language=language, use_itn=True, batch_size_s=60, merge_vad=True, merge_length_s=15, ) # 清理临时文件 os.remove(file_path) if len(res) == 0: return JSONResponse({"code": 500, "msg": "识别失败", "result": None}) raw_text = res[0]["text"] clean_text = rich_transcription_postprocess(raw_text) # 提取原始标签用于结构化输出 result = { "raw_text": raw_text, "clean_text": clean_text, "language": res[0].get("lang", "unknown"), "punctuated": res[0].get("punc", clean_text), "timestamp": res[0].get("time_stamp", []), } return JSONResponse({ "code": 200, "msg": "success", "result": result }) except Exception as e: # 出错也要清理文件 if os.path.exists(file_path): os.remove(file_path) logger.error(f"识别出错：{str(e)}") return JSONResponse({"code": 500, "msg": str(e), "result": None})

3.3 启动 API 服务

运行命令启动服务：

uvicorn api_sensevoice:app --host 0.0.0.0 --port 8000

服务启动后，你将看到类似提示：

Uvicorn running on http://0.0.0.0:8000

此时可通过浏览器访问 http://127.0.0.1:8000/docs 查看自动生成的 Swagger 文档界面，方便调试。

4. 移动端如何调用该接口？

现在我们的 API 已准备就绪，接下来以 Android/iOS 或 H5 场景为例，说明如何从移动端上传音频。

4.1 请求方式说明

• URL:http://your-server-ip:8000/transcribe
• Method:POST
• Content-Type:multipart/form-data
• 参数说明：

4.2 示例：使用 curl 模拟请求

你可以先用本地命令测试接口是否正常工作：

curl -X POST "http://localhost:8000/transcribe" \ -H "accept: application/json" \ -F "audio=@test.wav;type=audio/wav" \ -F "language=zh"

预期返回示例：

{ "code": 200, "msg": "success", "result": { "raw_text": "<|zh|><|HAPPY|>今天天气真好啊！<|LAUGHTER|>", "clean_text": "今天天气真好啊！（开心）[笑声]", "language": "zh", "punctuated": "今天天气真好啊！", "timestamp": [[0.1, 2.3]] } }

4.3 在移动端代码中调用（以 Java/Kotlin 为例）

val client = OkHttpClient() val requestBody = MultipartBody.Builder().setType(MultipartBody.FORM) .addFormDataPart("audio", "recording.wav", RequestBody.create(MediaType.get("audio/wav"), audioFile)) .addFormDataPart("language", "zh") .build() val request = Request.Builder() .url("http://your-server-ip:8000/transcribe") .post(requestBody) .build() client.newCall(request).enqueue(object : Callback { override fun onFailure(call: Call, e: IOException) { Log.e("API", "请求失败", e) } override fun onResponse(call: Call, response: Response) { val responseBody = response.body?.string() Log.d("API", responseBody ?: "") } })

⚠️ 注意事项：

• 若服务器有防火墙，请开放 8000 端口或通过 Nginx 反向代理
• 建议对上传文件大小做限制（如 ≤10MB），避免 OOM
• 生产环境应增加鉴权机制（如 Token 认证）

5. 处理常见问题与优化建议

5.1 音频格式兼容性处理

虽然模型内部会重采样，但为了提升稳定性和性能，建议在移动端预处理音频为：

• 格式：WAV 或 MP3
• 采样率：16kHz
• 声道：单声道（Mono）
• 位深：16bit

这样可以减少服务器端解码压力，加快响应速度。

5.2 情感与事件标签解析技巧

原始输出中的<|HAPPY|>、<|APPLAUSE|>等标签可以通过正则提取，便于前端高亮显示或统计分析。

例如，在 App 中可将(开心)显示为绿色表情图标，(掌声)显示为鼓掌动画。

5.3 性能优化建议

6. 总结：打造属于你的移动端语音智能入口

通过本文，你应该已经掌握了如何：

• 将原本仅供 Web 使用的 SenseVoiceSmall 模型改造成可供移动端调用的 RESTful 接口；
• 设计合理的 API 接收上传音频并返回结构化识别结果；
• 在真实 App 场景中发起请求并解析包含情感和事件的富文本输出。

这不仅是一次简单的接口封装，更是打通“终端采集 → 云端理解 → 智能反馈”闭环的关键一步。

无论是做语音日记的情绪分析、在线课堂的学生状态监测，还是短视频内容的声音事件自动打标，这套方案都能为你提供强大支撑。

下一步，你还可以考虑：

• 增加用户身份认证（JWT）
• 添加任务队列支持长音频
• 将结果写入数据库或推送至消息系统
• 结合 Whisper-large-v3 进行对比评测

技术的世界永远不缺可能性，缺的是动手尝试的第一步。现在，轮到你了。

7. 总结

本文详细讲解了如何基于阿里开源的 SenseVoiceSmall 模型搭建一个面向移动端的语音识别 API 服务。我们完成了从环境配置、API 开发、接口测试到移动端调用的全流程实践，重点实现了多语言识别、情感检测与声音事件标注三大核心功能。

整个过程无需修改模型本身，只需合理封装即可投入实际项目使用。希望这篇教程能帮你快速落地语音智能应用。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。