用Sambert-HifiGan为电子相册添加情感化语音描述
2026/1/9 18:36:30
LangChain+TTS构建语音Agent：完整链路搭建教程
📌 引言：为什么需要语音Agent？
随着大模型与智能交互系统的快速发展，纯文本形式的AI对话已难以满足真实场景的需求。用户期望的是更自然、更具情感表达力的交互方式——语音正是其中的关键一环。
在客服机器人、有声读物生成、虚拟主播、教育辅助等场景中，一个能“说话”的Agent远比只会“打字”的AI更具亲和力和实用性。而中文多情感语音合成（TTS）技术的成熟，使得我们能够为AI注入语气、情绪甚至人格化特征。
本文将带你从零开始，使用LangChain 框架 + ModelScope 的 Sambert-Hifigan 多情感中文TTS模型，搭建一条完整的语音Agent链路。你将学会：
- 如何调用高质量中文TTS服务
- 如何通过 Flask 封装 API 接口
- 如何集成 LangChain 实现“理解→回复→发声”全流程
- 最终实现一个可听、可说、可交互的语音AI助手
✅ 本教程属于实践应用类（Practice-Oriented）文章，强调工程落地与可运行代码，适合有一定Python基础的开发者。
🧩 技术选型与架构设计
1. 核心组件说明
| 组件 | 功能 | |------|------| |LangChain| 负责语言理解、对话管理、提示词编排 | |Sambert-Hifigan (ModelScope)| 提供端到端中文多情感语音合成能力 | |Flask| 封装 TTS 模型为 Web API，支持 HTTP 调用 | |前端 WebUI| 可视化测试界面，支持输入文本并播放音频 |
2. 系统整体架构
[用户提问] ↓ [LangChain Agent] → [LLM推理] → 生成自然语言回复 ↓ [调用TTS API] ← (HTTP POST: text, emotion) ↓ [TTS服务] → 合成 .wav 音频文件 ↓ [返回音频URL] → 前端播放或本地播放该架构实现了“语义理解”与“语音表达”的解耦，便于模块化扩展和维护。
🛠️ 环境准备与依赖修复
尽管 ModelScope 提供了开箱即用的sambert-hifigan模型，但在实际部署过程中常遇到以下问题：
numpy版本冲突导致scipy安装失败datasets==2.13.0与旧版tokenizers不兼容torch与torchaudio版本不匹配引发 CUDA 错误
为此，我们提供经过验证的稳定环境配置方案。
✅ 已验证的依赖版本组合（CPU环境）
python==3.9 torch==1.13.1 torchaudio==0.13.1 transformers==4.26.1 modelscope==1.11.0 numpy==1.23.5 scipy==1.10.1 datasets==2.13.0 flask==2.3.3💡特别注意：
scipy<1.13是关键限制条件，高版本会因 C++ ABI 变更导致libopenblas加载失败。
安装命令（推荐使用 conda + pip 混合管理）
# 创建虚拟环境 conda create -n tts-agent python=3.9 conda activate tts-agent # 先安装 torch（避免被pip自动降级） conda install pytorch==1.13.1 torchaudio==0.13.1 cpuonly -c pytorch # 安装其他依赖 pip install modelscope==1.11.0 \ transformers==4.26.1 \ numpy==1.23.5 \ scipy==1.10.1 \ datasets==2.13.0 \ flask==2.3.3🎙️ 部署 Sambert-Hifigan 多情感TTS服务
1. 加载模型（支持多情感控制）
ModelScope 的sambert-hifigan支持多种预设情感模式，包括：
default：标准中性音色happy：欢快活泼sad：低沉悲伤angry：愤怒急促fear：紧张颤抖surprise：惊讶上扬
以下是封装后的模型加载代码：
# tts_model.py from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks class ChineseTTSService: def __init__(self): self.tts_pipeline = pipeline( task=Tasks.text_to_speech, model='damo/speech_sambert-hifigan_novel_multimodal_zh-cn_16k') def synthesize(self, text: str, emotion: str = 'default') -> str: """ 执行语音合成，返回 wav 文件路径 """ result = self.tts_pipeline(input=text, voice_type=emotion) wav_path = f"output/{hash(text)}.wav" # 保存音频 with open(wav_path, 'wb') as f: f.write(result['output_wav']) return wav_path2. 构建 Flask API 接口
我们将上述模型封装为 RESTful API，支持 JSON 输入和音频下载。
# app.py from flask import Flask, request, jsonify, send_file import os from tts_model import ChineseTTSService app = Flask(__name__) os.makedirs("output", exist_ok=True) tts_service = ChineseTTSService() @app.route('/tts', methods=['POST']) def tts_api(): data = request.get_json() text = data.get('text', '').strip() emotion = data.get('emotion', 'default') if not text: return jsonify({"error": "Missing 'text' field"}), 400 try: wav_path = tts_service.synthesize(text, emotion) return send_file(wav_path, mimetype='audio/wav') except Exception as e: return jsonify({"error": str(e)}), 500 @app.route('/') def index(): return ''' <h2>🎙️ 中文多情感TTS服务</h2> <form id="ttsForm"> <textarea name="text" placeholder="请输入要合成的中文文本..." required></textarea><br> <select name="emotion"> <option value="default">中性</option> <option value="happy">开心</option> <option value="sad">悲伤</option> <option value="angry">愤怒</option> <option value="fear">恐惧</option> <option value="surprise">惊讶</option> </select> <button type="submit">开始合成语音</button> <audio id="player" controls></audio> </form> <script> document.getElementById('ttsForm').onsubmit = async (e) => { e.preventDefault(); const formData = new FormData(e.target); const response = await fetch('/tts', { method: 'POST', headers: {'Content-Type': 'application/json'}, body: JSON.stringify(Object.fromEntries(formData)) }); if (response.ok) { const url = URL.createObjectURL(await response.blob()); document.getElementById('player').src = url; } else { alert("合成失败：" + await response.text()); } }; </script> ''' if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)🔐 生产环境中建议增加： - 请求频率限制 - 输入长度校验（建议 ≤ 200 字） - 日志记录与异常监控
🤖 集成 LangChain 构建语音Agent
现在进入核心环节：让 AI 不仅能“思考”，还能“开口说话”。
1. 安装 LangChain 并配置 LLM
我们以 HuggingFace 的Qwen-1.8B-Chat为例（也可替换为本地部署的 ChatGLM、Baichuan 等）：
pip install langchain huggingface_hub accelerate# agent.py from langchain_community.llms.huggingface_pipeline import HuggingFacePipeline from transformers import AutoTokenizer, pipeline import torch # 初始化本地 LLM model_id = "Qwen/Qwen-1_8B-Chat" tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) pipe = pipeline( "text-generation", model=model_id, tokenizer=tokenizer, model_kwargs={"torch_dtype": torch.float16}, device_map="auto", max_new_tokens=512 ) llm = HuggingFacePipeline(pipeline=pipe)2. 编排语音Agent逻辑链路
import requests class VoiceAgent: def __init__(self): self.llm = llm # 上述初始化的 LLM self.tts_url = "http://localhost:5000/tts" # TTS服务地址 def respond_and_speak(self, user_input: str, emotion: str = 'default'): # Step 1: 使用 LLM 生成回复 prompt = f"你是用户的贴心助手，请用自然、口语化的方式回答问题。\n\n问题：{user_input}\n回答：" ai_response = self.llm.invoke(prompt).strip() print(f"💬 AI回复：{ai_response}") # Step 2: 调用 TTS API 合成语音 try: response = requests.post(self.tts_url, json={ "text": ai_response, "emotion": emotion }, stream=True) if response.status_code == 200: with open("last_response.wav", "wb") as f: for chunk in response.iter_content(chunk_size=1024): f.write(chunk) print("✅ 音频已保存为 last_response.wav") return ai_response, "last_response.wav" else: print("❌ 语音合成失败：", response.text) return ai_response, None except Exception as e: print("⚠️ TTS服务调用异常：", str(e)) return ai_response, None3. 运行语音Agent示例
# main.py agent = VoiceAgent() while True: user_text = input("\n🎤 你说：") if user_text.lower() in ['退出', 'quit', 'exit']: break # 情感分析（简化版：关键词匹配） emotion = 'happy' if any(k in user_text for k in ['开心', '高兴', '太棒']) \ else 'sad' if any(k in user_text for k in ['难过', '伤心', '失望']) \ else 'angry' if any(k in user_text for k in ['生气', '讨厌', '烦死了']) \ else 'default' reply, audio_path = agent.respond_and_speak(user_text, emotion) if audio_path: import subprocess subprocess.call(["afplay", audio_path]) # macOS播放命令；Linux可用 aplay，Windows可用 vlc🎯进阶建议： - 使用 BERT 情感分类模型动态判断情绪 - 添加 ASR（语音识别）实现全双工语音交互 - 结合 RAG 实现知识增强型语音问答
⚙️ 实践难点与优化建议
❗ 常见问题及解决方案
| 问题 | 原因 | 解决方案 | |------|------|----------| |ImportError: cannot import name 'TypedDict' from 'typing'| Python < 3.8 | 升级至 Python 3.9+ | |RuntimeError: Expected all tensors to be on the same device| GPU/CPU混合错误 | 设置device_map="auto"或强制.to('cpu')| |ConnectionRefusedError: [Errno 111] Connection refused| TTS服务未启动 | 确保app.py正在运行且端口开放 | |ValueError: too many values to unpack| datasets版本冲突 | 固定datasets==2.13.0|
🚀 性能优化技巧
- 缓存机制
对常见问答进行文本哈希缓存，避免重复合成相同语音。
```python import hashlib cache = {}
def get_cached_tts(text, emotion): key = hashlib.md5((text + emotion).encode()).hexdigest() if key in cache: return cache[key] # 否则调用API... cache[key] = wav_path return wav_path ```
异步合成
使用threading或asyncio实现非阻塞语音生成，提升响应速度。压缩音频输出
将.wav转为.mp3减小体积（需安装pydub+ffmpeg）：
python from pydub import AudioSegment AudioSegment.from_wav("out.wav").export("out.mp3", format="mp3")
🎯 应用场景拓展
| 场景 | 实现方式 | |------|---------| |儿童故事机| 结合 Prompt 设计角色台词 + 多情感切换 | |智能客服播报| 接入电话系统，自动语音通知订单状态 | |无障碍阅读器| 为视障用户提供网页内容朗读功能 | |虚拟偶像直播| 实时驱动数字人嘴型同步语音输出 |
✅ 总结：打造会“说话”的AI助手
本文完整演示了如何基于LangChain + ModelScope Sambert-Hifigan构建一个具备语音表达能力的智能Agent。我们完成了：
- ✅ 部署稳定可用的中文多情感TTS服务（Flask + WebUI）
- ✅ 修复常见依赖冲突，确保环境可复现
- ✅ 集成 LangChain 实现“理解→生成→发声”闭环
- ✅ 提供完整可运行代码与工程优化建议
🔚一句话总结：
当大模型不仅能写答案，还能带着情绪“说出来”时，人机交互才真正迈向拟人化。
📚 下一步学习建议
- 学习Whisper实现语音识别（ASR），补全“听-说”闭环
- 探索Voice Cloning技术，定制专属音色
- 使用FastAPI替代 Flask，提升接口性能
- 部署到 Docker/Kubernetes，实现服务容器化与自动化运维
🌐 开源项目参考： - ModelScope TTS Examples - LangChain 中文文档
立即动手，让你的AI拥有声音！