胡杨河市网站建设_网站建设公司_展示型网站_seo优化

嘿，大家好！这里是一个专注于前沿AI和智能体的频道~

最近，Shopify 分享了他们构建生产级 AI 助手 Sidekick 的万字长文，信息量爆炸。

很值得一看。

最早他们类似 Anthropic 总结的的 agentic loop 开始，让大模型去完成ReAct的循环。

初期确实能回答一些筛选类的请求，可以自动的查询数据，筛选数据。

很快，他们遇到了第一个问题。工具拓展。

工具数量的增长和系统的可维护性之间存在一个恐怖的临界点：

• 0-20 个工具：岁月静好，边界清晰，行为稳定。
• 20-50 个工具：边界开始模糊，工具之间的组合开始出现意想不到的化学反应。
• 50+ 个工具：恭喜你，抵达地狱。同一个任务有N种实现方式，系统行为变得极难推理。

这个问题，他们用 Death by a Thousand Instructions 来形容。系统 prompt 被各种特例、互相冲突的指南、各种边缘情况的处理逻辑填满，变得臃肿、缓慢，几乎无法维护。

为了解决这个难题，他们搞出了一个新的词，叫：Just-in-Time (JIT) 指令。

这个思路的核心就是：别再把所有指令都塞进系统 prompt 里！只在需要的时候，把相关的指令和工具数据一起返回给 LLM。

新瓶装老酒~

这种做法的好处很明显：

• 指令只在相关时出现，让核心的系统 prompt 专注于最基本的 Agent 行为。
• 缓存效率：可以动态调整指令，而不会破坏 LLM 的 prompt 缓存。
• 模块化：可以根据测试、模型版本或页面上下文，提供不同的指令。

到下一个环节了，评估是Agent系统最大的挑战。

传统的传统的软件测试方法，似乎没法很好的处理LLM输出的概率性问题以及多步推理时候的复杂性。

很多人还在用 Vibe test，或者让 LLM 随便打个分。

这种方法完全的不靠谱，评估需要有原则且统计上严谨，否则就是在自我安慰。

他们建立了一套严谨的、统计上可靠的评估体系。

整个流程是这样的：

• 直接从生产环境中采样真实的商家对话，构建 Ground Truth Sets (GTX)。
• 找来至少三位产品专家，对这些对话进行多维度标注，并用统计工具来衡量人类专家之间的共识度。这个共识度就是 LLM 法官能达到的理论上限。

• 通过反复迭代 prompt，训练专门的 LLM 法官，让它对 Agent 的行为进行打分。训练的目标，就是让法官的打分结果与人类专家的打分结果在统计上高度相关。
• 当 LLM 法官与人类的评分相关性足够高时，他们会玩一个图灵测试：随机用一个法官的评分替换掉一个人类专家的评分，如果很难分辨出哪个是法官给出的，那就说明这个 LLM 法官是值得信赖的。

通过这套体系，他们的 LLM 法官从最初几乎是随机乱猜（卡帕系数 0.02），提升到了接近人类专家的水平（0.61 vs 人类基准 0.69）。

这种效果其实也不太靠谱，毕竟现在大模型的推理框架几乎都不具备批推理一致性，每次变来变去，效果会在一个区间波动。

他们甚至还做了一个模拟器重放真实对话，可以让大模型从多个候选系统中，选择最好的一个。

最后，他们发现，即使评估体系在完善。

模型依然可能会钻空子。

模型找到了各种清奇的角度来骗过奖励系统：

• 遇到困难任务，模型不尝试解决，而是直接解释为什么它做不了。
• 当被要求筛选出状态为启用的客户时，模型不使用正确的 customer_account_status = ‘ENABLED’，而是投机取巧地创建了一个 customer_tags CONTAINS ‘enabled’ 的过滤条件。
• 幻觉出不存在的 ID 或使用错误的枚举值。

解决这些行为是一个持续对抗的过程，需要不断地迭代LLM 法官，让它们能识别出这些新的作弊模式。

最后

不要迷信多 Agent， 一个设计良好的单 Agent 系统远比你想象的更强大。

这个是他们主要传达的理念。

构建生产级的 Agentic 系统，远不止是把 LLM 和一堆工具粘在一起。

它需要仔细琢磨架构、严谨的评估方法论，以及对系统潜在失败模式的持续预防。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】