本文以通俗易懂的方式解释了AI和大模型领域的15个核心术语,包括序列化、反序列化、解析、解析器、块、词元、向量、嵌入、检索增强生成(RAG)、提示词、温度、TOP P、LLM、预训练和微调等。作者旨在帮助初学者理解这些"行业黑话",消除学习障碍,避免被专业术语吓退。这些术语是理解大模型工作原理的基础,掌握它们有助于更好地学习和应用AI技术。
前排提示,文末有大模型AGI-CSDN独家资料包哦!
最近一直在学习AI相关的课程,课程前前后后说了很多专业名词,有时候光听到名词,觉得特别高大上,但是听了老师的讲解后也会立马明白。想到可能有些也人跟以前的自己一样,被这些“行业黑话”给吓退。
于是,尝试着整理一下,分享给更多的人,避免大家被黑话挡在学习的门外。以下只是一部分,后续在学习过程中会持续更新。
1、序列化(Serialization)
是指将数据结构或对象状态转换为可以存储(例如保存到文件、内存缓冲区)或传输(例如通过网络发送)的格式的过程。
2、反序列化(Deserialization)
将序列化的数据还原为原始的数据结构或对象。
3、解析(Parsing)
将一段输入(通常是字符串或字节流)按照某种规则分解并理解其结构和含义的过程,简单来说解析就是:理解结构+提取信息。比如输入2025-11-19,解析为年=2025,月=11,日=19
4、解析器(Parser)
用于分析输入的文本或数据流,并根据特定的语法规则将其转换为结构化的表示形式。
5、块(chunk)
将数据、任务或资源划分为较小的、可管理的部分。这种“分块”策略广泛应用于内存管理、文件处理、网络传输、大模型推理等多个领域。
6、词元(Token)
Token 是文本经过分词器(Tokenizer)处理后得到的最小语义或子词单元,它不等于单词,也不等于字符,而是一种介于两者之间的表示方式,是模型理解、处理、生成文本的基本单位。
7、向量(Vector)
是表示数据(如词、句子、图像等)的核心数学工具。它的本质是一个有序的数值数组,能够将抽象对象转化为机器可计算的形式。在AI中的意义:向量是对现实世界对象(如“猫”、“快乐”、“一篇新闻”)的数值化编码,使得计算机能通过计算(如距离、相似度)来“理解”语义。
8、嵌入(Embedding)
是一种将复杂、高维的数据(如词语、图片、声音)转换为低维、连续的数值向量(即一系列数字)的技术。简单理解:就是一个数据翻译过程,将数据转化成计算机可以理解的数字。核心思想:计算向量与向量之间相似度,用于实际业务场景,比如搜索、推荐、图像识别、大语言模型等。举例:将您的查询和所有网页都转换为向量。然后,搜索引擎会找到与您的查询向量最相似的网页向量。
9、检索增强生成(RAG)
Retrieval-Augmented Generation,检索增强生成, 是一种结合信息检索与大语言模型(LLM)生成能力的架构,用于解决大模型的以下核心问题:知识过时(训练数据截止于某时间点)、幻觉(Hallucination)(编造事实)、无法访问私有/专有数据(如公司文档、内部知识库)。通常大家会把它理解成一个外挂知识库。常见应用场景:企业知识库问答、法律/医疗咨询等。
10、提示词(Prompt)
是指用户输入给大语言模型(如ChatGPT)的指令、问题或一段文字,旨在引导模型生成符合期望的回复。再细分一点会分为系统提示词和用户提示词,这两种提示词是在与大型语言模型(特别是基于对话的模型如 ChatGPT)交互时的两个关键概念,它们共同决定了模型的最终输出。
系统提示词用于定义模型的角色、行为方式、回复风格和边界限制。
用户提示词用户在对话过程中直接输入给模型的每一条消息或问题用于表达用户当前意图,触发模型响应。
11、温度(Temperature)
用于控制LLM生成文本的多样性。在模型计算出下一个Token所有可能的概率分布后,
Temperature会调整这个分布的“平滑度”。
高Temperature:会让低概率的Token更容易被选中,使生成结果更具创造性,可能出现不连贯的词语。
低Temperature:会让高概率的Token权重更大,使生成结果更稳定、更符合训练数据,但会更保守。
12、TOP P
TOP P(核采样)设定一个概率阈值(P),然后从高到低累加所有Token的概率,直到总和超过P为止。模型只会在这个累加出来的“核心”词汇表中选择下一个Token。
高Top P候选词汇表较大,结果更多样。
低Top P:候选词汇表非常小,结果更具确定性。
举例说明:假设模型要完成句子:“今天天气真…”,模型预测的下一个词可能是:好(60%)、不错(30%)、糟(9%)、可乐(0.01%)。
高Temperature:会提升所有词的概率,使得“可乐”这个不相关的词也有机会被选中。
Top P (设为0.9):会选择概率总和达到90%的词。这里好(60%) +不错(30%) = 90%,所以模型只会从“好”和“不错”中选择,直接排除了“可乐”这种离谱的选项。
13、LLM
大型语言模型,是基于海量文本数据训练的深度学习模型,属于生成式AI的一种。它能理解和生成类人类的自然语言,常见模型如GPT系列、DeepSeek, Qwen等。
14、预训练(Pre-training)
预训练(Pre-training) 和 微调(Fine-tuning) 是两个核心阶段,共同构成“先通用、后专用”的模型训练范式。预训练是指模型在大量数据上进行训练,学习通用的语言表示和世界知识。
15、微调(Fine-tuning)
微调是指在预训练模型的基础上,使用特定任务的数据集对模型进行进一步的训练,使其适应特定任务。
如何学习AI大模型 ?
“最先掌握AI的人,将会晚掌握AI的人有竞争优势,晚掌握AI的人比完全不会AI的人竞争优势更大”。在这个技术日新月异的时代,不会新技能或者说落后就要挨打。
老蓝我作为一名在一线互联网企业(保密不方便透露)工作十余年,指导过不少同行后辈。帮助很多人得到了学习和成长。
我是非常希望可以把知识和技术分享给大家,但苦于传播途径有限,很多互联网行业的朋友无法获得正确的籽料得到学习的提升,所以也是整理了一份AI大模型籽料包括:AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、落地项目实战等免费分享出来。
👉点击即可获取大模型学习包2026年最新版👈
- AI大模型学习路线图
- 100套AI大模型商业化落地方案
- 100集大模型视频教程
- 200本大模型PDF书籍
- LLM面试题合集
- AI产品经理资源合集
大模型学习路线
想要学习一门新技术,你最先应该开始看的就是学习路线图,而下方这张超详细的学习路线图,按照这个路线进行学习,学完成为一名大模型算法工程师,拿个20k、15薪那是轻轻松松!
视频教程
首先是建议零基础的小伙伴通过视频教程来学习,其中这里给大家分享一份与上面成长路线&学习计划相对应的视频教程。文末有整合包的领取方式
技术书籍籽料
当然,当你入门之后,仅仅是视频教程已经不能满足你的需求了,这里也分享一份我学习期间整理的大模型入门书籍籽料。文末有整合包的领取方式
大模型实际应用报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。文末有整合包的领取方式
大模型落地应用案例PPT
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。文末有整合包的领取方式
大模型面试题&答案
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。文末有整合包的领取方式
领取方式
这份完整版的 AI大模型学习籽料我已经上传CSDN,需要的同学可以微⭐扫描下方CSDN官方认证二维码免费领取!