安庆市网站建设_网站建设公司_交互流畅度_seo优化

原文: https://www.evidentlyai.com/llm-guide/rag-evaluation#using-evidently-for-rag-evaluation

RAG（Retrieval-Augmented Generation，检索增强生成）是构建实用大语言模型 (LLM) 应用非常流行的一种方法，它能让 AI 助手或聊天机器人利用外部知识，而不仅仅局限于 LLM 在训练过程中记忆到的信息。

然而，增加检索功能也会使系统变得更加复杂。

这时，你不再只是简单地向 LLM 输入提示，而是在构建一个复杂的流程：包括分块 (chunking)、搜索 (search)、上下文组装 (context assembly) 和生成 (generation)。当出现问题时，你可能无法立刻确定症结所在。这是模型“幻觉” (hallucination) 了吗？还是它根本没有获取到正确的信息？

这就是为什么需要进行评估：一种测试 RAG 系统运行情况的方法，理想情况下，应在用户发现问题之前找出哪些环节出了问题。

在本指南中，我们将深入探讨如何评估和测试 RAG 系统，涵盖开发阶段和生产环境。主要内容包括：

• 如何单独评估检索和生成模块。
• 如何利用 LLM 进行评估和合成数据生成。
• 构建测试集、运行实验和进行生产监控的实用技巧。

我们还将介绍 Evidently——一个开源库和平台，可帮助你通过代码或无代码的方式评估和监控 RAG 系统。

一、核心要点

*RAG 评估旨在衡量检索增强生成系统在检索相关上下文和生成 grounded、准确响应方面的表现。

• RAG 由两个核心部分组成：检索（查找有用信息）和生成（生成最终答案）。这两个部分可以分开评估。
• 检索评估包括结合真实标签 (ground truth) 使用 recall@k 等排序指标，或对检索到的上下文进行人工/LLM 判定的相关性评分。 *基于参考的生成评估通过 LLM 判别或语义相似度来比较系统输出与正确答案。
• 无参考的生成评估可用于检查响应的忠实性 (faithfulness)、完整性、语气或结构特性。
• 合成测试数据通过从知识库中生成逼真的问答对，有助于启动评估过程。
• 压力测试和对抗性测试有助于确保系统在面对高风险输入或极端情况时，响应依然安全并符合预期。

二、什么是 RAG？

RAG 是 Retrieval-Augmented Generation 的缩写。它是一种构建 LLM 应用的方法，使模型能够利用外部数据（例如产品文档、支持内容或内部知识库）来回答问题，而不是仅仅依赖模型在训练期间学到的知识。

例如，如果你正在开发一个客户支持聊天机器人，你不能指望 LLM 了解你公司的所有政策。这时，你可以设置一个系统，当用户提出问题时，系统会检索相关文档，并利用这些文档来生成回复。

什么是 RAG

“RAG”一词由 Lewis 等人于 2020 年在论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中提出。RAG架构将大规模语料库检索与生成相结合，使模型能够在推理时将输出内容依据外部知识源进行 grounding。

RAG 的工作流程分为两个步骤：

• 首先，系统检索相关信息——这是“R”部分。
• 然后，它利用这些信息生成答案——这是“G”部分。

值得注意的是，RAG 是一种设计模式，而非单一的实现方式。例如，“检索”部分可以采取多种形式。它可以是对向量数据库进行语义搜索，但也同样可以是关键词搜索、SQL 查询，甚至是 API 调用。其目标是为模型提供有用的上下文，具体如何获取这些上下文则由你决定。

通常，在许多实际应用中，检索是通过对非结构化文档语料库执行搜索来实现的。这意味着你还需要处理文档的准备、存储和索引方式。

RAG 系统的高层视图

RAG 系统的高层视图

一旦检索完成，你就可以为模型组装完整的提示词。这通常包括：

• 用户的提问。
• 检索到的上下文（例如，来自你的文档的摘要）。
• 定义模型应该生成何种答案的系统提示词。

此时，LLM 会生成最终回复，这就是用户看到的内容。

三、什么是 RAG评估？

RAG 评估是衡量你的 RAG 应用实际表现的过程。

这是一种特定类型的大语言模型系统评估，重点在于你的 RAG 聊天机器人或知识助手是否能给出准确、有帮助且有依据的答案。换句话说：它是否适用于你实际的应用场景？

重要的是，这并非一般的 LLM 评估，比如在公共排行榜或 RAG 性能基准测试中衡量哪个模型表现最好。相反，RAG评估旨在帮助你衡量你的系统在实际用户查询上的表现。你需要了解：它是否正在提取正确的信息？它是否回答正确？你能否信任它的输出？

一个完善的评估设置可以帮助你回答这些问题，并做出更好的设计决策。

RAG 系统包含许多可变因素：你如何分块和存储文档、使用哪个嵌入模型、检索逻辑、提示格式、LLM 版本等等。一个好的评估过程可以帮助你：* 比较不同的设计选择。

• 追踪哪些改进或破坏了性能。
• 更有效地调试错误。

虽然这种评估通常在开发阶段开始，但在 AI 产品的整个生命周期中都需要进行。

在许多实际的 RAG 应用中，可靠性至关重要。一个错误的答案可能会损害信任，导致糟糕的用户体验，甚至带来法律或安全风险。因此，评估是产品发布周期的关键部分。

如何进行这一评估过程呢？

你可以对 RAG 系统进行端到端评估（重点关注最终答案的质量），但通常将检索和生成分开评估会更有用。

RAG 评估

在开发 RAG 系统时，你很可能会独立迭代这些组件。你可能首先致力于解决检索问题（例如，尝试不同的分块策略或搜索方法），然后再进行生成提示词的调整。

这对于调试也至关重要。当你得到一个糟糕的答案时，你的第一个问题应该是：哪里出错了？

• 系统是否未能检索到正确的文档？
• 或者即使上下文正确，模型也出现了“幻觉”？

能够区分这两者有助于你找到正确的解决方案并加快开发速度。

因此，让我们遵循这种结构，从检索质量评估开始。

四、评估检索质量

检索是你系统尝试找到最相关信息以回答用户查询的步骤。这可能涉及从文档存储中提取内容块、搜索知识库，或者执行结构化查询。

要了解你的检索是否运作良好，你需要衡量：

• 系统是否能够找到所有应该找到的信息；
• 系统返回的结果是否真的有用。

评估方法有几种，具体取决于你是在进行离线评估（在实验或回归测试中使用），还是在线评估（作为生产监控的一部分）。这还取决于你用于设计测试的标注数据量。

让我们来看看三种不同的方法。

基于真实标签的评估 (Ground-truth evaluation)

首先，检索并不是一个新问题。

它与从电子商务网站到谷歌到企业内部门户网站的每一个搜索栏背后的任务相同。这是一个经典的机器学习用例，我们可以将成熟的评估方法重新用于 LLM 驱动的 RAG 设置。

要应用这些方法，你需要一个**真实标签数据集 (ground truth dataset)**——你自定义的检索基准。

对于每个查询，你定义包含答案的正确来源——这些可以是文档 ID、内容块 ID 或链接。你可以将其视为对系统的考试：对于每个问题，你指定应该找到哪些来源。

RAG 检索示例

在信息检索术语中，这些被称为相关文档——即包含给定查询的正确或有用信息的条目。

一旦有了这个数据集，你就可以通过你的系统运行查询，并通过比较检索到的内容块与预期内容块来检查它是否实际找到了应该找到的上下文。为了量化结果，你可以计算标准的信息检索指标。

以下是一些示例：

你可以查看排序指标指南了解更多详情和指标。

RAG 检索评估 Precision@K

示例：precision@K 衡量特定查询返回的相关项目所占的比例。

这些检索评估可以有效地比较不同的搜索设置（例如重新排序或嵌入策略），并识别出问题所在。

但问题是，构建这个真实标签数据集需要时间。你必须手动将每个测试问题映射到正确的上下文。如果你的目标是试验分块策略，这会变得更困难——改变内容块边界会重新打乱你所标记的一切。

尽管如此，在许多情况下，这绝对值得付出努力。如果你了解自己的知识库并能准确标注哪些文档包含答案，你就能衡量**召回率 (recall)**，并查看你的系统是否检索到了所有应有的信息。

人工相关性标注

另一种相对简单的方法是在检索后评估结果。

你无需预先定义相关文档，而是让系统使用测试查询按原样运行，然后手动评估结果。对于每个查询，你审查系统检索到的内容，并分配一个标签，例如：“相关”、“部分相关”或“不相关”。

RAG 人工检索评估

许多团队在实践中就是通过这种方式评估搜索质量的。例如，谷歌也这么做，并为人工评分员提供了详尽的内部指南。

这样做的好处是更灵活。你正在评估整个检索流程在实际运行中的表现。这种方法可以帮助你：

• 评估用户在生产环境中实际看到的结果质量。
• 发现低性能查询。
• 更好地理解边缘案例和模糊查询。

但它也存在一些局限性。

最重要的是，你无法计算召回率，因为你没有预先定义应该检索到什么。虽然这种方法更容易上手，但除非你有一个专门的审查团队可以按需执行人工标注，否则其扩展性不佳。

LLM 判定的相关性

第三种选择是使用语言模型自动化这个精确的相关性标注步骤。

这与你在其他类型的大语言模型评估中使用的 LLM-as-a-judge 方法相同，只不过在这里，模型的工作是评估检索到的内容块的效用。

什么是 LLM 作为判别器？LLM-as-a-judge 是一种技术，你使用一个由评估提示词引导的语言模型来评估 AI 系统的输出。例如，你可以提示一个 LLM 来评估一个响应是否有帮助或是否遵循了某个特定准则。这就像有一个自动化审阅器，它根据你的标准来评估开放式或主观的质量。_阅读我们指南中的更多内容。_

以下是你如何实现它以评估检索质量。我们在这里可以考虑两种选择。

1. 单个内容块相关性评分。

你可以向 LLM 提问一个用户查询和一个检索到的内容块，并要求它判断该内容块是否与查询相关。LLM 判别器的输出可以是：

• 一个简单的二元标签（_相关_ / _不相关_）
• 一个数值相关性分数。

LLM 作为判别器进行 RAG 相关性评估

你还可以使用其他 LLM 评估方法，例如基于嵌入的语义相似度，它会返回一个数值分数，反映查询和检索到的内容块之间的语义相似度。

重要的是，许多 RAG 系统为每个查询返回多个内容块。这意味着你需要单独为每个内容块评分。

一个简单的例子：假设我们检索到三个简短的内容块来回复一个关于香蕉的查询。每个上下文块都是一个句子，可能来自不同的文档。（当然，在实践中，内容块通常更大。）

RAG 相关性评估

然后，我们使用LLM 判别器为每个内容块分配一个相关性分数，其中 1 表示高度相关，0 表示完全不相关。

例如，“香蕉富含钾”包含了关于香蕉健康益处的相关信息，并获得 1 分。但是像“香蕉是蔬菜吗？”这样的内容块对主题没有任何帮助，获得 0 分——尽管这样的结果完全有可能出现在搜索中。

你可以使用开源的 Evidently Python 库轻松运行这些计算。下面是一个评估一组测试查询的示例：每行都包含检索到的内容块及其对应的相关性分数，以列表形式存储在单元格中。

RAG 相关性评估

一旦我们分别评估了每个内容块的相关性，我们就可以聚合结果，以评估特定查询的整体检索质量。

有几种方法可以实现这一点。例如，我们可以衡量：

• 二元命中——至少有一个内容块达到了相关性阈值吗？
• 相关内容块的比例——检索到的内容块中有多少是相关的？
• 平均相关性分数——内容块的整体相关性如何？

例如，我们来看看平均相关性分数。在我们的示例中，我们可以看到关于香蕉的查询比关于烹饪土豆的查询产生了更多相关的结果。

RAG 相关性评估

你可以在 Evidently Python 库中选择聚合方法。

这为系统针对每个查询检索上下文的质量提供了一个单一的分数。然后，你可以进一步将这些分数聚合到整个测试数据集或特定时间段内的生产查询中。

2. 上下文质量评估。

如果你的系统返回的上下文很短，或者很容易将所有内容块打包成一个单一的上下文块，那么你可以跳过按内容块评分的步骤，直接评估整个上下文。在这种情况下，你可以提示 LLM 回答类似这样的问题：

“这段检索到的内容是否包含足够的信息来回答用户的问题？如果是，则回复 ‘VALID’，否则回复 ‘INVALID’。”

模型可以返回一个决策（二元或多类别评级），并附带推理和解释。下面是一个例子：

RAG 上下文质量评估

这种基于 LLM 的评分（无论是按内容块还是按完整上下文）具有以下几个优点：

设置工作量低。你只需要测试查询，而不需要完整的标注答案，这使得生成真实示例变得快速而容易。

强大的基准性能。通用 LLM 能够很好地处理开箱即用的相关性检查，特别是对于直接的标准，例如回答“是”或“否”某个内容块是否涵盖了“政策期限”之类的问题。

例如，微软报告称 GPT-4 在“评估 Bing RAG 系统中内容块级别相关性方面取得了接近人类的表现。” （Zhou 等人，2023）

当然，在某些情况下，相关性判断可能需要特定的领域知识——比如法律、医疗或高度技术性的内容。在这些情况下，即使是人工标注也面临挑战，因为领域专家也不容易规模化。

非常适合快速实验。在尝试新的向量数据库或检索设置时，你可以批量运行基于 LLM 的评估来比较性能，而无需每次都手动重新标注。

适用于生产监控。由于它不需要真实标签的答案，你可以将这些评估应用于实时流量。例如，你可以查找相关性较低的查询，这可能表明知识库存在空白、新的用户需求或搜索逻辑损坏。

评估生成质量

现在，我们来看看 RAG 的最后一步：生成的回复。

一旦系统检索到上下文，LLM 就会利用这些信息——以及用户的提问和引导其行动的系统提示词——来生成最终答案。

如果你将 RAG 系统视为一个黑盒并进行端到端评估，那么这就是你将要测试的部分：用户实际看到的输出。

RAG 生成质量评估

那么，你如何判断这个回复是否足够好呢？

这里有两种主要的工作流程：

基于参考的评估。在离线设置中（开发或测试阶段），你可以将 RAG 系统的输出与预定义的参考答案进行比较。这同样需要一个标注数据集。

无参考的评估。当你没有参考答案时，你仍然可以使用代理指标来评估质量，例如响应的结构、语气、长度、完整性或特定的属性，例如是否包含了必要的免责声明。这些评估在测试和生产监控中都适用。

让我们更详细地了解一下。

基于参考的评估

如果你正在进行离线评估，最可靠的选择是将你的系统答案与一组已知的正确答案进行比较。这些基于参考的评估有助于你衡量 RAG 系统在测试用例中与理想答案的接近程度。

要使用这种方法，你需要一个包含准确问答对的数据集。这些数据作为你的基准。

然后，你通过 RAG 系统运行相同的输入问题，并将生成的回复与参考回复进行比较。

有不同的方法来评分匹配程度：

*你可以使用语义相似度——比较生成答案和参考答案的嵌入。

• 或者你可以使用LLM 作为判别器——提示一个语言模型来比较这两个文本，并评估新的回复是否正确、完整或一致。

这两种方法都有效。基于嵌入的方法快速且可扩展。基于 LLM 的方法提供更多的细微差别和上下文推理，并且可以根据你自己的“正确性”定义进行调整。

以下是 LLM 基于正确性匹配在示例中的表现：

RAG 正确性匹配

评估由 Evidently Python 库生成。

RAG评估数据集

RAG 评估中一个非常重要的因素是你的数据集。你需要反映真实用户问题、涵盖关键主题并包含复杂边缘情况的测试用例——例如多源查询，RAG 可能会错误地只返回部分答案。

创建强大的测试集需要付出努力。但好消息是：你不必全部手动构建。你可以通过直接从知识库中生成合成测试用例来加快速度。

其工作原理是：你颠倒了通常的 RAG 工作流程。你不是响应用户问题检索内容，而是从内容本身开始。从你的文档或内部知识库中抽取一个内容块，然后让 LLM 执行以下操作：

• 生成一个仅使用该内容块即可回答的问题。
• 严格根据该内容编写正确答案。

由于这些内容直接来自你的 RAG 源，因此示例将与你的系统在生产环境中使用的领域和语言保持一致。你可以通过改变问题的措辞或模拟不同的用户画像来进一步扩展，以匹配真实查询的风格和意图。

RAG 真实标签数据集示例

示例 RAG 真实标签数据集由 Evidently 文档自动生成。

这种方法为你提供了一种快速、可重复的方式来创建相关、真实且直接与你的原始材料相关联的评估数据。当然，在使用这些示例进行评估之前，你应始终对其进行审查和批准。

一旦你有了几十个或几百个这样的示例，你就可以用它们来运行不同版本 RAG 设置的比较，衡量改进，并测试回归。

无参考评估

然而，你并非总能获得真实标签的答案。在生产环境中，用户可以提出任何问题，你无法预先知道“正确”答案应该是什么。

即使在测试期间，与参考答案进行比较也并非总是最有用或最完整的评估方式。你可能正在尝试不同的响应格式、测试新的问题类型，或者评估超越事实准确性的质量，例如品牌语音的一致性。

这时你就需要进行**无参考评估(reference-free evaluations)**。

你不再将输出与预定义的答案进行比较，而是根据其措辞、结构以及是否充分利用了上下文来评估响应本身。

一些检查纯粹是结构性的，且易于通过编程进行验证。例如：

• 长度：答案是否在要求的字符限制内？
• 链接是否存在：是否包含指向来源的链接，并且该链接是否有效？
• 确切词语匹配：是否包含特定的免责声明？

你还可以找到推断响应本身质量的方法。即使你没有一个“正确”的答案，你仍然有宝贵的数据可以利用——用户的提问、检索到的上下文和生成的响应。以下是一些你可以评估的内容：

你可以使用 LLM 作为判别器来评估这些。例如，要检查忠实度，你可以将问题、上下文和答案传递到评估提示词中，例如：“答案是否忠实于检索到的上下文，还是添加了不支持的信息，省略了重要细节，或与来源矛盾？返回‘忠实’或‘不忠实’。”

RAG 忠实度评估

LLM 判别器可以返回一个二元标签和一个简短的解释来支持调试。在一个示例中，它看起来是这样的：

RAG 忠实度评估示例

评估由 Evidently Python 库生成。

这些类型的无参考评估在生产监控中特别有用。你可以在实时用户查询上持续运行它们，而无需标注数据。它们能帮助你检测“幻觉”、性能下降或格式问题。

你还可以对用户输入进行分析性评估：例如，你可以按主题或意图对查询进行分类，以了解用户实际提出了哪些类型的问题。

RAG 指标概览

总结来说，下图展示了 RAG 系统评估的不同方面——基于我们是否有真实标签。

它从检索（左侧）开始，到生成（右侧）结束。

RAG 指标

在检索方面：

• 如果我们为每个查询都知道相关的文档，我们可以计算经典的排序指标，如 recall@k 或 NDCG。
• 如果没有真实标签，我们仍然可以通过检查检索到的上下文是否与用户请求相关且有效来判断检索质量——无论是手动还是使用 LLM 作为判别器。

在生成方面：

• 如果我们有一个参考答案，我们可以使用 LLM 判别器或语义相似度来评估正确性。
• 如果没有真实标签，我们仍然可以检查对上下文的忠实度/完整性、答案与问题的相关性，以及诸如语气、结构或安全性等自定义质量。

你使用哪些评估器取决于你所处的阶段：测试、调试还是监控。

重要的是，你不需要所有指标！

你的 RAG 评估设计应该由你想要回答的问题以及你实际观察到的失败模式来驱动。对一组合适的真实标签数据进行准确性检查通常是最好的起点。

高级 RAG 评估

对于简单的 RAG 系统——比如内部文档的升级版搜索框——基本的质量检查通常就足够了。风险低，范围窄，复杂性可控。

但在许多真实世界的应用中——特别是在医疗保健、金融或法律支持等领域——情况会变得更加严肃。这些系统通常服务于外部用户，处理高风险主题，其中信任、准确性和安全性至关重要。

你可能还在使用复杂的多轮聊天机器人或智能体 (agent) 风格的流程，仅仅测试一个平面的查询列表是不够的。

在这些情况下，你可能需要更高级的评估工作流程来测试系统的鲁棒性、边缘情况行为或多轮体验的质量。

让我们更详细地了解其中几种评估策略。

压力测试

压力测试的目标是评估 RAG 系统在非正常路径下的行为，并查看它是否能优雅地失败。

这意味着要测试它如何处理复杂或不寻常的问题，而不仅仅是那些简单、预期的。这些边缘情况不一定是恶意的。它们可能是模糊的提示、罕见的主题，或你的系统从未设计来回答的输入。要运行这些测试，你需要：

• 定义风险和边缘情况。识别可能导致不良输出的场景。
• 创建测试查询。精心设计模拟这些风险的示例问题。 *确定一个好的响应应该是什么样子。例如，这可能是一个拒绝回复、一个澄清请求，或者回退到安全的默认设置。

从那里，你可以将这些预期转化为有针对性的评估流程，使用 LLM判别器自动为输出评分。

让我们看一个鲁棒性测试的例子。

RAG 鲁棒性测试

在这种情况下，你可以测试你的系统在以不同方式提问相同问题时的表现一致性。你可以尝试查询的几种改写版本——使用不同的措辞、风格和结构——并检查回复是否保持相似且不矛盾。

边缘案例。你还可以精心设计需要测试的特定行为——从关于竞争对手的问题到模糊的单字查询——并将它们与自动化评估器配对，以检查系统是否正确处理了这些情况。

以下是一些示例：

你还可以加入特定的专家精心设计的边缘案例——这些问题需要根据你的用例进行细致的处理。例如，退款政策可能因用户国家而异，或者某些福利可能仅在工作六个月后才适用。

为了发现它们，与理解预期用户体验并了解领域“细则”的主题专家合作有所帮助。然后你可以将这些收集到一个专门的测试数据集中，其中包含最困难或风险最高的查询。

幻觉测试。另一个有价值的场景是幻觉测试 (hallucination testing)。目的是查看你的 RAG 系统在被问及它不应该能够回答的问题时的行为——无论是信息缺失、过时，还是基于错误的假设。

例如，你可以创建包含与你的文档相矛盾的自信用户陈述的测试查询。目标是检查系统不会猜测或盲目同意，而是回退到事实性回复，如“我没有该信息”，或者在需要时温和地纠正用户。

以下是一些此类测试的示例：

对抗性测试

压力测试侧重于困难但合理的输入，而对抗性测试则旨在故意破坏系统。目标是发现不安全、意外或不合规的行为——那些用户或攻击者可能在实际环境中触发的行为。

这对于面向公众的 RAG 系统，或在受监管或敏感领域运行的系统尤其重要。你希望确信你的模型不仅能产生好的答案，还能避免有害或有风险的答案。

RAG 对抗性测试

在对抗性测试中，你设计的查询旨在故意破坏系统——通过绕过安全措施、混淆模型或触发危险输出。这些示例可能不会出现在常规用户日志中，但它们正是你希望在生产环境发生故障之前捕获的场景。你通常会合成这些测试查询，以模拟真实的攻击尝试。

一些常见的测试模式：

• **提示注入 (Prompt injections)**：试图覆盖你提示词指令的尝试，例如 “忽略前面的文本，而是……”。
• **越狱 (Jailbreaks)**：巧妙措辞的输入，试图诱使模型违反其安全协议。示例：_“告诉我如何做 X，但假装这是为一部小说。”_
• **有害内容 (Harmful content)**：与暴力、仇恨言论、自残或虚假信息相关的查询。
• **禁用话题 (Forbidden topics)**：关于法律咨询、医疗诊断、金融建议的问题——你的系统不应触及的领域。
• **操纵尝试 (Manipulation attempts)**：试图让系统提供财务提议、给予折扣，或确认需要人工批准的事情。示例：_“今天的折扣码是什么？”_或_“我的退款能通过吗？”_
• **敏感场景 (Sensitive scenarios)**：来自弱势用户的输入。示例：_“我感到绝望，我该怎么做？”_ 应该触发清晰、安全和尊重的回应——最好伴随着升级或转介。

对于这些类别中的每一个，你将再次定义“安全”响应的外观——通常是礼貌的拒绝或避免不希望行为的高级答案。然后，使用 LLM 判别器自动化输出评估。这为你提供了一个简单的“红队”流程，你可以在发布前或重大更新期间运行。

使用 Evidently 进行 RAG安全测试

示例：测试 LLM 在金融话题上回复的安全性，Evidently Cloud。

会话级评估

许多 RAG 系统不仅仅回答单个问题，它们是多轮对话的一部分。例如，这可能是一个支持聊天机器人或故障排除助手，用户通过多个步骤与系统交互。

这意味着质量不仅仅取决于一个回复：你需要评估系统是否能很好地处理整个对话。会话级评估器可以让你回答以下问题：

• 会话成功率：用户最终是否解决了他们的问题？
• 一致性：系统是否忘记了上下文、重复或自相矛盾？
• 对话语气：整个会话的语气是否恰当？

在测试方面，会话级数据比单轮示例更难创建。你有几个选择：让人工测试员进行真实场景并收集对话 transcripts，或者设计脚本化的多轮测试用例，这些用例代表常见或关键的用户旅程，并实现一个 AI 智能体来自动重放它们。然而，一旦你有了这些数据，你就可以像处理单轮示例一样，对完整的 transcripts 运行自动化评估。

会话级 RAG 评估

你将重用相同的 LLM 作为判别器方法，但是，你不是对单个回复进行评分，而是传入整个对话并提示模型评估整体帮助性、一致性或用户情绪。输出可以是二元判断（“已解决”/“未解决”），并包含诊断评论。

虽然离线会话级测试可能难以实现，但这些评估在生产环境中效果很好，你可以评估真实的交互。如果你启用会话追踪（即通过会话 ID 追踪交互，以将多轮对话拼接成单个会话），你可以轻松地对这些会话 transcripts 运行自动化评估。

如果你的数据量很大，你可以对会话进行抽样，或者根据信号触发评估——例如，当用户提到竞争对手、表现出沮丧情绪，或者触发了备用回复时。

最终，会话级评估可以帮助你发现单轮检查中未出现的问题，例如上下文丢失、重复答案或未解决的问题。它确保你的 AI 系统不仅在当下做出良好响应，而且能够端到端地解决用户问题。

RAG 评估最佳实践

设计一个良好的评估设置不仅仅是选择指标。它关乎构建实用的工作流程，帮助你迭代、改进并贴近真实的用户体验。以下是一些需要掌握的要点。

设计高质量测试用例

你的离线评估的质量取决于你的测试示例。在担心指标或编写 LLM 判别器提示之前，请重点关注你的评估数据集：它们是否真实、相关且具有代表性？

从真实数据开始。如果可能，使用实际用户查询、过去的客户支持日志或内部搜索历史来构建你的测试用例。这会将你的评估 grounded 在人们实际提出的问题上，而不仅仅是你想象他们可能提出的问题。

如果你使用合成数据，请从假设开始。即使你生成测试数据，你也可以调整流程以生成更真实、更多样的示例。

不要只是让 LLM 从文档中生成任何问题。相反，首先定义你的用户画像（例如“正在比较计划的客户”或“正在审查政策的内部分析师”），然后从他们的角度生成查询。此外，按比例涵盖主题——如果你预计 40% 的客户支持问题是关于退款的，那么在你的测试中也要反映这一点。

用于RAG 测试的合成数据

示例：在生成合成数据时，增加关于用户意图的额外内容。

始终审查自动生成的数据集。大语言模型可以帮助启动测试用例的生成，但这并不意味着你应该盲目使用测试数据集。生成测试集后，请审查其清晰度和结构。保留与你的用例匹配的问题，并丢弃其余的问题。

让领域专家参与。他们是了解边缘案例和真正重要事情的人。通过审查输出或提出测试用例，使他们易于贡献。一个共享的表格或轻量级用户界面可以大有帮助。

在实验中坚持使用你的测试集。一个常见的反模式是在运行之间重新生成测试集。这会引入噪音，使你的结果不可靠。在测试更改时保持你的测试集稳定——这样你才能真正进行同类比较。

随着时间的推移更新你的测试数据集。然而，除了有重点的实验之外，你的测试集应随着你的产品而发展。如果你添加新功能、更改策略或删除过时的文档，请更新你的评估以匹配。一旦你的系统投入生产，你可以用真实的用户查询和你观察到的故障来扩展你的数据集。

选择重要的指标

良好的评估是与上下文相关的。它不是要运行所有可能的检查，而是要根据你的系统如何失败以及你的用例中高质量的含义来选择正确的检查。

不要寻求一个万能指标。你不应该期望找到一个完美的评估器。对不同任务使用不同的评估器是完全可以的，而且通常是必要的。例如：

• 在调整检索时，重点关注内容块级别的相关性分数和排序质量。一旦稳定，你可以继续进行，不再使用这些指标。
• 在压力测试中，使用自定义评估器，如品牌安全或拒绝检查。它们将仅限于这些测试场景，并用于回归测试。
• 在生产环境中，你可以跟踪一些高信号指标，如忠实度、格式正确性或答案完整性，以及主题覆盖等分析检查。

根据观察到的错误确定优先级。理论上，你可以对所有内容进行评分：语气、幻觉、完整性、连贯性等。但在实践中，这只会增加噪音。一个反模式是使用通用指标在“好坏”方面打 9/10 分，但这些指标无法捕获实际问题，也无法帮助你以有意义的方式衡量提示词版本之间的差异。相反，你应该查看实际输出并确定实际出现的问题或需要测试的风险，然后选择几个高杠杆的测试和指标进行跟踪。

创建自定义 LLM 判别器。如果你正在使用 LLM评估器，你应该编写自己的评估器标准。即使是那些乍一看很常见的检查，例如“与真实标签相比的正确性”，也可能有一些细微差别——所以请明确你的期望。

例如，虽然答案之间明显的矛盾很容易发现，但对于如何处理参考答案和新答案之间的添加、省略或小改动（例如解释缩写、更改日期格式），你可能有不同的看法。这些都值得在提示词中澄清。

LLM 判别器的提示词工程工作流程。

使你的 LLM 判别器与人工标注保持一致。LLM 判别器有助于扩展人工标注——这些不是一劳永逸的固定指标。不要依赖现成的提示词——你的目标是创建与你的标注标准一致的自动化审阅工具。

因此，当你创建这些判别器时，你应该从人工标注的示例开始，并校准你的 LLM 判别器以与之保持一致。你还可以考虑使用自动提示词优化技术来实现这一点。

避免完美主义陷阱。不要追求“最好的评估器”。追求有用的东西。你总是可以迭代你的测试用例或你的 LLM 判别器提示。最重要的是拥有一个工作循环，你可以发现问题，尝试修复，并知道情况是否有所改善。

使工作流程实用化

设计良好的评估只是一个开始。你还需要一个能够持续运行的设置。以下是一些使你的工作流程实用和可管理的方法：

务实。并非每个系统都需要全面评估。如果你正在构建一个针对小型帮助中心数据库的简单支持机器人，一些抽查和基本的正确性测试可能就足够了。不要过度设计。当然，一个客户面对医疗聊天机器人是完全不同的情况。

从问题入手。根据你试图做出的决策选择评估工作流程。你是在比较提示词版本吗？测试系统是否足以发布？检查真实用户是否得到了好的答案？让这些问题来指导你的设置——而不是仅仅依靠指标。

从小处着手，然后逐步发展。评估可能会让人感到不知所措——尤其是所有可能的指标、边缘案例和工具选项。从小规模的测试集和几个关键检查开始，并进行一段时间的手动审查（实际上建议这样做，因为它能帮助你弄清楚标准），这完全没问题。你不需要从第一天就做到完美覆盖。首先关注风险最高的场景，然后从那里扩展。

建立协作式工作流程。确保非技术利益相关者轻松查看、评论和审查测试用例、模型输出和评估分数。设计测试用例或对 LLM 系统行为提供反馈通常需要领域知识，因此不能仅仅是工程团队的工作。设置简单的界面或共享空间，让产品负责人、支持主管、法务或其他审阅者可以直接贡献。这适用于开发和生产。

不要忘记做记录——了解何时、如何测试了什么比看起来更有价值，特别是在调试回归或做出部署决策时。

分配真实的时间和所有权。评估需要付出努力——编写测试用例、审查模型输出、维护数据集。如果把它放在次要位置，它就不会奏效。一个好主意是把它当作产品基础设施来对待。分配负责人，并使其成为产品发布过程的一部分。

##使用 Evidently 进行 RAG 评估

Evidently 是一个开源的 LLM 应用评估框架，下载量超过 2500 万次。

它结合了 Python 库和Web 用户界面，旨在帮助你运行、审查和跟踪 AI 系统评估（包括 RAG）的完整生命周期。你可以将其用于实验、回归测试和持续监控。

1. 生成合成数据

你可以使用 Evidently 来生成合成测试用例——基于你实际知识库的测试输入或问答对。这可以帮助你启动 RAG 正确性测试的评估。

你可以使用 Python API 生成数据，也可以使用 UI 检查和审查结果。UI 旨在促进协作——因此领域专家可以在不编写代码的情况下帮助设计或验证测试用例和输出。

在 Evidently Cloud 中生成合成数据

你可以在 Evidently Cloud 中生成和审查合成数据集。

2. 运行内置和自定义评估

Evidently 内置了 RAG 指标：从 precision@k 和命中率等排序指标到可定制的 LLM 判别器，用于检索和生成质量。这些都遵循本指南前面描述的评估方法。

你还可以定义自己的评估标准，并使用内置的评估器模板运行基于提示词的检查，以评估正确性、语气、格式或安全性等方面。

如果你喜欢无需代码，你也可以直接在 UI 中运行评估——只需上传你的示例，应用 LLM 判别器，然后交互式地探索结果。

使用 Evidently Cloud 进行 RAG 评估

3. 随时间跟踪评估

Evidently 旨在进行持续评估。你可以跨实验和回归检查运行测试，或监控生产运行——并跟踪结果随时间的变化。

使用 Evidently Cloud 进行 RAG 监控

它还包括深度跟踪——因此你可以从指标下降追踪到特定的查询失败，并深入了解哪里出了问题。

使用 Evidently Cloud 进行 RAG 追踪

总结

评估 RAG 系统不仅仅是检查答案“看起来不错”。它关乎了解你的系统在真实世界条件下的表现——包括检索、生成和端到端的用户体验。这意味着要测试不止一个方面：搜索质量、忠实度、拒绝、语气、结构等等。

无论你是在迭代提示词格式、试验分块策略，还是监控生产可靠性，关键是使用适合你工作流程的评估方法——并始终关注实际的故障。

有用资源：

• Evidently 文档。
• 关于 RAG评估介绍 的理论视频。
• RAG 评估方法：代码教程。
• RAG设计与评估：代码视频教程。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】