为了覆盖 AI应用工程师 的核心面试考点，我们将技术栈升级如下：
升级版技术栈
- 前端: Next.js (React) 或 Streamlit (快速Demo，但代码要写得工程化)。
- 后端/编排: Python FastAPI (异步高性能) + LangChain (核心逻辑)。
- RAG 引擎: Dify (通过 Docker 本地部署，展示企业级工作流编排能力)。
- 向量数据库: Milvus (高性能、分布式，区别于简单的 Chroma) 或 Qdrant。
- 关系型数据库: PostgreSQL (存储业务数据，如用户日志、权限)。
- 大模型: Ollama 运行 Qwen2.5-14B 或 Llama3-8B (本地化、可控)。
- 微调: PEFT (LoRA) + Unsloth (展示模型定制能力，即使是加载 Adapter)。
角色分配与深度提示词
我们将原来的 4 个角色深化，增加一个 MLOps 角色 专门负责微调部分。
角色 1：架构师型产品经理
考点覆盖： 架构设计、技术选型理由、成本收益分析。
提示词：
# Role
你是一位懂技术的 AI 系统架构师兼产品经理。# Task
请设计《Omni-Flow Pro》的技术架构图和数据流向。
请重点阐述以下技术选型的理由（这是面试官最关心的）：
1. **为什么选择 Dify 而不是纯 LangChain 做 RAG 编排？** (提示：考虑可视化工作流、API Server 封装、Prompt 管理)。
2. **为什么选择 Milvus 作为向量库？** (提示：考虑索引类型 HNSW/IVF、标量过滤、扩展性)。
3. **为什么需要 PostgreSQL？向量库不够吗？** (提示：元数据过滤、结构化数据关联)。# Output
输出一份技术选型文档，包含架构图描述（Mermaid 格式）和选型对比表。
角色 2：AI 全栈开发工程师
考点覆盖： API 开发、异步编程、RAG 链路集成、Dify API 调用。
提示词：
# Role
你是一位资深 Python 后端工程师，精通 FastAPI 和 LangChain。# Context
我们的后端需要对接本地的 Dify 和 Milvus。# Task
请编写核心的 FastAPI 接口代码 `main.py`，要求：
1. **异步接口**：使用 `async/await` 定义 `/chat` 接口。
2. **Dify 对接**：编写函数调用 Dify 的 API (假设 Dify 运行在本地 localhost/v1)，将用户问题转发给 Dify 的 RAG Agent 应用，并获取带有引用来源的回答。
3. **元数据增强**：在发给 Dify 之前，先从 PostgreSQL 查询用户的“画像”（如：该用户是VIP，可以查看更多机密），通过 Dify 的 `variables` 注入到 Context 中。
4. **流式输出**：支持 Server-Sent Events (SSE) 流式返回 LLM 的生成结果。# Constraints
代码需包含异常处理和类型注解。
角色 3：机器学习工程师 - 负责微调
考点覆盖： PEFT、LoRA、模型训练与推理集成、Transformers 库。
提示词：
# Role
你是一位专注于 NLP 的机器学习工程师。# Task
虽然我们没有 GPU 训练全量模型，但 Demo 需要展示“微调模型”的集成能力。
请编写一个 Python 脚本 `model_loader.py`：1. **加载基座模型**：使用 `transformers` 加载本地模型。
2. **挂载 LoRA 适配器**：模拟加载一个已经训练好的 LoRA 权重文件（假设路径为 `./lora_adapters`），并合并到基座模型中。*注：请解释在面试中如何说明这个微调的作用（例如：微调了模型让其更符合公司特定的说话风格或行话）。*
3. **推理封装**：封装一个 `generate(prompt)` 函数，供 FastAPI 调用。# Code Requirements
使用 `peft` 库的 `PeftModel` 类。展示如何动态加载 Adapter，这是实现“一个模型多种角色”的关键技术。
角色 4：UI 开发工程师 - 开发者控制台
考点覆盖： 前端工程化、数据可视化、用户体验。
提示词：
# Role
前端专家，擅长构建数据密集型应用。# Task
设计并编写 React/Streamlit 代码，构建一个 **"AI 运营看板"**。
界面不仅要有聊天框，还要展示以下技术指标（证明你在监控 RAG 效果）：1. **检索置信度**：显示当前回答引用的文档片段相似度分数（如 0.85）。
2. **Token 消耗与延迟**：显示每个请求的 `Time to First Token (TTFT)` 和总耗时。
3. **上下文窗口占用率**：进度条展示当前 Prompt 占用了多少 Context Window（例如 4096/8192）。# Goal
让面试官一眼看出这是一个“可观测、可量化”的企业级应用，而不是一个玩具。
角色 5：测试与验收工程师 (QA - RAG Evaluation)
考点覆盖： RAG 评估、自动化测试、Ragas 框架。
提示词：
# Role
AI 测试专家，熟悉 Ragas 和 TruLens。# Task
编写一个评估脚本 `evaluate_rag.py`，用于验证 RAG 系统的效果。1. **构建黄金数据集**：定义一个 JSON 格式的测试集（包含 question, ground_truth, context）。
2. **评估指标**：编写代码使用 Ragas 计算 `Faithfulness` (忠实度) 和 `Answer Relevancy` (答案相关性)。
3. **持续集成思路**：请说明在面试中，如何将这个脚本集成到 CI/CD 流程中，当新文档入库导致检索效果下降时，如何报警？# Output
评估逻辑的伪代码或核心函数实现。
实施路线图
为了让这个 Demo 在面试中无懈可击，建议按照以下逻辑在本地部署（如果机器配置允许，否则用 Mock 结合部分真实组件）：
-
环境搭建：
- 使用 Docker Compose 一键启动 Milvus、PostgreSQL、Dify（这是加分项，展示你会 DevOps）。
- 启动 Ollama 拉取
qwen:14b模型。
-
数据准备：
- 准备一份 PDF 文档（如公司年报），上传到 Dify 的知识库。
- 在 Dify 中创建一个 Agent 应用，开启“搜索增强”并关联该知识库。
-
代码编写：
- 将上述 AI 生成的代码组合起来。
- 确保 FastAPI 能成功调用 Dify 的 API。
-
微调展示 (Mock 技巧)：
- 如果没有训练好的 LoRA 权重，代码中写死
if config.use_lora: load_adapter(...)。 - 面试话术：“在实际生产中，我会使用公司积累的对话数据，通过 Unsloth 进行 QLoRA 微调，将模型调整得更符合公司语气。在 Demo 中，我预留了加载 Adapter 的接口。”
- 如果没有训练好的 LoRA 权重，代码中写死
面试时的“高光时刻”话术
当你展示这个 Demo 时，配合以下话术，可以精准击中面试官的痛点：
- 关于 RAG：“我没有简单地把文档塞进 Prompt，而是通过 Dify 做了混合检索（关键词+向量）和重排序，确保召回率。您看，返回的答案里都有引用来源。”
- 关于 Agent：“我的后端通过 LangChain 管理状态，能够处理多轮对话中的上下文记忆。如果用户意图不明确，我会通过 Prompt 引导模型进行澄清。”
- 关于微调：“虽然通用的 Llama3 很强，但在特定领域可能不够专业。我在架构中预留了 LoRA 接口，可以低成本地挂载微调后的模型，让 AI 变身领域专家。”
- 关于评估：“上线不是结束。我用 Ragas 建立了自动化评估流水线，每天跑测试集，监控
Faithfulness指标，防止新知识入库导致模型幻觉。”