银川市网站建设_网站建设公司_在线客服_seo优化

深度学习模型优化：量化（Quantization）+ 模型并行/分片技术原理详解

在大模型应用落地过程中，显存不足是最常见的瓶颈之一。例如Fun-Audio-Chat-8B这类8B参数级别的音频语言模型，默认全精度推理需24GB以上显存，而主流消费级GPU（如NVIDIA 4060 Ti 16GB）难以满足需求。此时，「量化（Quantization）+ 模型并行/分片」的组合方案成为关键优化手段——既能大幅降低显存占用，又能最大程度保留模型性能。本文将从技术原理、核心机制、适用场景三个维度，深入解析这两项技术的底层逻辑，同时补充大量实践细节与技术延伸，帮助开发者快速掌握并应用于实际项目。

一、核心概念总览

在深入原理前，先明确两个技术的核心目标与本质差异。当前大模型落地的核心矛盾在于“模型规模扩张”与“硬件资源有限”的冲突，尤其是消费级场景下，GPU显存往往成为制约模型部署的关键短板。量化与模型并行/分片从不同维度解决这一矛盾，二者互补性极强，组合使用可实现“1+1>2”的优化效果。

具体来看，量化的核心是“内部压缩”，通过降低参数存储精度减少单设备的显存负载；模型并行/分片的核心是“外部拆分”，通过多设备协同承载压缩后的模型，突破单设备显存上限。二者的核心目标、效果及典型场景对比如下：

两者组合的核心逻辑：​先通过量化压缩模型体积，减少需拆分的模型规模；再通过并行/分片拆分压缩后的模型，进一步降低单设备显存压力​，最终实现“小显存跑大模型”的落地目标。这种组合方案在工业界应用极为广泛，例如智能音箱的语音模型部署、边缘设备的大模型推理等场景，均依赖该技术实现高效落地。

二、量化（Quantization）技术原理

2.1 核心定义

量化是指将模型中的​浮点数权重/激活值​（如FP32、BF16）转换为​低精度整数​（如INT8、INT4）的过程。其本质是利用大模型的“参数冗余性”——大模型经过海量数据训练后，参数分布具有较强的容错性，适当降低精度不会显著影响模型性能，却能大幅减少显存占用和计算开销。

从技术本质来看，量化是一种“有损压缩”技术，但与图像、音频的压缩不同，量化的损失是可量化、可控制的。在实际应用中，通过合理选择量化精度、量化粒度和量化方案，可将精度损失控制在用户主观体验无差异的范围内。例如，在语音交互场景中，INT4量化的模型在语音识别准确率、语义理解精度上的损失通常低于5%，普通用户无法感知；而在医疗影像分析等高精度需求场景，则更适合采用INT8或BF16精度。

2.2 为什么量化能降低显存占用？

模型显存占用的核心计算公式的：

显存占用 ≈ 参数量 × 每个参数的字节数 + 激活值占用 + 临时缓存（如中间计算结果、梯度缓存等）

其中，参数量由模型结构决定（如8B模型的参数量固定为80亿），因此“每个参数的字节数”成为影响显存占用的核心因素。不同精度参数的字节占用、压缩比及适用场景对比清晰展现了量化的优势：

以8B参数的Fun-Audio-Chat-8B为例，不同精度下的纯权重显存占用计算如下：FP32精度需32GB（8B×4字节），BF16精度需16GB（8B×2字节），INT8量化需8GB（8B×1字节），INT4量化仅需4GB（8B×0.5字节）。而实际推理中，除了权重占用，还需预留激活值和临时缓存的空间（通常为权重占用的1-2倍），因此INT4量化后总显存占用可控制在8-12GB，完全适配16GB显存的NVIDIA 4060 Ti GPU。这一计算逻辑也适用于其他规模的模型，例如13B模型INT4量化后纯权重占用约6.5GB，加上缓存后总占用约13-15GB，同样可在16GB显存设备上运行。

2.3 量化的核心技术细节

（1）量化粒度

量化粒度是指量化参数（缩放因子、偏移量）的计算范围，直接影响量化精度和计算效率，主要分为两种类型：

逐张量量化（Per-Tensor）：对整个张量（如某一层的所有权重矩阵）使用同一个量化参数（缩放因子和偏移量）。其优势是计算速度快，无需对张量进行细分处理，量化过程的算力开销小；但劣势是精度损失较大，因为同一层的权重分布可能存在差异，用统一参数量化会导致部分参数的误差被放大。这种方式适合对速度要求极高、精度要求较低的场景，如实时性要求强的边缘设备推理。

逐通道量化（Per-Channel）：对张量的每个通道（如卷积层的每个输出通道、Transformer层的每个注意力头）单独计算量化参数。由于每个通道的权重分布相对均匀，单独量化可大幅降低精度损失，是当前大模型量化的主流选择。其劣势是计算量略增，需要对每个通道分别计算参数，但随着硬件算力的提升，这一开销几乎可以忽略。例如，BitsAndBytes、GPTQ等主流量化方案均默认采用逐通道量化，在Fun-Audio-Chat-8B、LLaMA等模型上的实践表明，逐通道量化比逐张量量化的精度损失降低30%-50%。

（2）量化类型

根据量化范围是否以0为中心，量化可分为对称量化和非对称量化：

对称量化（Symmetric Quantization）：量化范围以0为中心，例如INT8的量化范围是[-128, 127]。其核心优势是无需存储偏移量，仅需存储缩放因子，进一步降低显存占用；同时，对称量化的计算逻辑更简单，在GPU的Tensor Core上可实现高效加速。由于大模型的权重通常呈正态分布，围绕0点对称，因此对称量化在大模型推理中应用广泛。例如，BitsAndBytes的INT4/INT8量化均采用对称量化，既保证了效率，又契合大模型的参数分布特性。

非对称量化（Asymmetric Quantization）：量化范围不局限于0中心，例如INT8的量化范围可设为[0, 255]。其优势是精度更高，能够更好地适配激活值等分布不对称的数据——激活值通常为非负值，且分布范围较广，用非对称量化可更精准地覆盖其取值范围；但劣势是需要存储偏移量，显存占用略有增加，且计算逻辑更复杂，推理速度比对称量化慢。这种方式更适合激活值量化，或对精度要求极高的权重量化场景，例如医疗影像分析模型的量化。

（3）主流量化方案

大模型推理中常用的量化方案有两种，分别适用于不同的应用场景：

1. BitsAndBytes（bnb）量化：这是由Hugging Face推出的动态量化方案，支持INT4/INT8量化，无需提前对模型进行量化处理，可在模型加载时动态完成量化。其核心特性包括双重量化（Double Quantization）和NF4量化类型：双重量化是指先用FP8精度量化INT4的缩放因子，进一步降低缩放因子的显存占用；NF4（NormalFloat4）是专为大模型权重分布优化的量化类型，其取值范围经过正态分布校准，比普通INT4的精度损失降低20%-30%。BitsAndBytes的最大优势是适配性强，支持绝大多数基于Transformers框架的模型，无需修改模型代码，可直接通过API调用启用；同时，动态量化的特性使其适合快速验证场景，开发者无需提前准备量化模型，可直接加载原始模型并启用量化。例如，在Fun-Audio-Chat-8B的加载代码中，仅需添加几行量化配置即可实现INT4量化，极大降低了开发成本。
2. GPTQ量化：这是基于“梯度感知量化”的离线量化方案，需提前对模型进行量化处理，生成量化后的权重文件。其核心原理是在量化过程中，通过梯度下降优化量化参数，最小化量化后的模型输出与原始模型输出的误差，实现“高精度量化”。GPTQ的优势是精度更高，在4-bit量化时精度接近INT8，推理速度也比BitsAndBytes快10%-20%；劣势是需要额外的量化步骤，且适配性不如BitsAndBytes，部分自定义架构的模型可能需要修改代码才能支持。例如，量化Fun-Audio-Chat-8B时，需先运行量化脚本生成GPTQ格式的权重文件，再加载量化后的模型进行推理。这种方案适合长期部署的场景，通过离线量化的额外开销换取更好的推理性能和精度。

2.4 量化的精度损失与权衡

量化不可避免会带来精度损失，但大模型的“参数冗余性”使其对精度损失具有较强的容错能力。实际应用中，精度损失的大小与量化精度、模型规模、任务类型密切相关：

8-bit量化：精度损失通常小于5%，在语音交互、文本生成、图像分类等常见任务中，主观体验与全精度模型基本无差异。例如，Fun-Audio-Chat-8B的8-bit量化模型在语音问答任务中的准确率仅比BF16全精度模型低2.3%，普通用户无法感知这一差异；LLaMA-7B的8-bit量化模型在文本生成的流畅度、逻辑性上与全精度模型几乎一致。这种精度损失在大多数工业场景中是可接受的，因此8-bit量化是平衡精度与效率的首选方案。

4-bit量化：精度损失通常在5%-10%之间，但通过双重量化、NF4类型等优化手段，可将损失控制在5%左右。例如，BitsAndBytes的NF4量化方案在LLaMA-13B模型上的精度损失比普通INT4降低40%，在语音理解、智能对话等场景中仍能满足需求。4-bit量化更适合显存紧张的场景，如消费级GPU部署13B、30B模型，或边缘设备部署8B模型。需要注意的是，在高精度需求场景（如金融风控、医疗诊断），4-bit量化的精度损失可能超出可接受范围，此时应优先选择8-bit量化或全精度推理。

量化的权衡原则：优先尝试8-bit量化（精度优先），若显存仍不足再采用4-bit量化（效率优先）；若4-bit量化精度损失过大，可结合模型并行技术，将核心层保留为8-bit精度，非核心层采用4-bit精度，进一步平衡精度与显存占用。例如，在Fun-Audio-Chat-8B的部署中，可将Transformer层采用8-bit量化，embedding层和lm_head采用4-bit量化，既控制显存占用，又保证核心计算的精度。

三、模型并行/分片（Model Parallelism/Sharding）技术原理

3.1 核心定义

模型并行/分片是指将大模型的层、参数或计算任务拆分到多个设备（GPU、CPU）或同一设备的不同显存区域，通过设备间的协同计算完成推理，从而避免单设备显存溢出的技术。其核心思想是“化整为零”，将无法被单设备承载的大模型拆解为多个可承载的部分，再通过通信机制整合计算结果。

需要重点区分模型并行与数据并行的差异：数据并行是将输入数据拆分到多个设备，每个设备运行完整的模型，通过聚合梯度实现训练同步，适合训练阶段（可利用多设备并行处理海量数据）；而模型并行是将模型本身拆分到多个设备，每个设备运行模型的一部分，通过传递中间结果实现推理同步，适合推理阶段（显存受限场景）。在大模型落地过程中，推理阶段的显存瓶颈更为突出，因此模型并行/分片的应用更为广泛。例如，在消费级GPU部署8B模型时，若量化后仍有部分层的显存占用过高，即可通过模型并行将这些层拆分到CPU，实现GPU与CPU的协同推理。

3.2 模型并行的两种核心方式

（1）层并行（Layer Parallelism）

层并行是最基础、最易实现的模型并行方式，其原理是将模型的不同层直接分配到不同设备。例如，将Fun-Audio-Chat-8B的32层Transformer拆分为两部分：GPU0运行第0-10层（核心计算层），CPU运行第11-31层（非核心层）；或者在多GPU环境中，将不同层分配到不同GPU。层并行的实现逻辑简单，无需修改模型代码，只需通过工具指定层与设备的映射关系即可，例如使用Transformers的device_map参数或accelerate库的load_checkpoint_and_dispatch函数。

其优势是开发成本低、适配性强，几乎适用于所有模型架构；劣势是存在“设备通信瓶颈”——由于模型的计算具有顺序性，前一层的输出必须传递到下一层的设备才能继续计算，若跨设备（尤其是GPU与CPU）拆分，数据传输的延迟会明显增加。例如，GPU计算完成第10层的输出后，需将数据从GPU显存传输到CPU内存，再由CPU运行第11层，这一传输过程会导致推理速度下降30%-50%。因此，层并行更适合单卡显存接近模型体积、仅需拆分少量层到CPU的场景，如16GB显存跑8B量化模型，仅将embedding、lm_head等轻量层拆分到CPU，核心Transformer层保留在GPU，可在控制延迟的同时解决显存溢出问题。

（2）张量并行（Tensor Parallelism）

张量并行是更高级的并行方式，其原理是将模型单一层的权重张量拆分到多个设备，计算时各设备并行处理，最后聚合结果。例如，将某一层的权重矩阵（shape: 4096×4096）按列拆分到两个GPU：GPU0存储前2048列，GPU1存储后2048列；计算时，输入数据分别传递到两个GPU，各自完成部分矩阵乘法运算，再将结果拼接后进入下一层。张量并行的核心优势是通信开销小，因为拆分的是同一层的参数，计算可并行执行，数据传输仅发生在同一层的设备间，且传输量远小于层并行；同时，推理速度更快，多设备可充分发挥并行算力。

其劣势是实现复杂，需要修改模型代码，适配张量的拆分与合并逻辑，且仅支持特定的模型架构（如Transformer、CNN）。例如，Megatron-LM、DeepSpeed等框架均提供了张量并行的实现，但需要开发者对模型代码进行适配。张量并行更适合多GPU环境，例如2张16GB GPU部署16B模型，通过张量并行将每层权重拆分到两个GPU，单卡显存占用可降低50%，同时利用多GPU的并行算力提升推理速度。在消费级场景中，由于多GPU设备较少，张量并行的应用相对有限，但在专业开发环境中，是大规模模型部署的核心技术。

（3）ZeRO分片（Zero Redundancy Optimizer）

ZeRO分片是由Microsoft提出的优化方案，最初用于大模型训练，后来逐渐扩展到推理场景。其核心原理是将模型的权重、梯度、优化器状态（统称为“三大状态”）分别拆分到多个设备，每个设备仅存储部分数据，训练/推理时通过动态聚合完成计算。ZeRO分片的核心优势是灵活性高，支持“分片粒度可调”，可根据设备资源动态选择拆分的内容：

ZeRO-1：仅拆分优化器状态，适合训练阶段，可降低优化器状态的显存占用；ZeRO-2：拆分梯度和优化器状态，进一步降低显存占用；ZeRO-3：拆分权重、梯度和优化器状态，显存占用最低，可支持单设备部署超大规模模型。在推理场景中，ZeRO-3是最常用的模式，通过拆分权重可将模型的显存占用降低到单设备可承载的范围。例如，8GB显存的GPU部署13B模型时，通过ZeRO-3分片将权重拆分到GPU和CPU，可实现推理运行。

ZeRO分片的劣势是配置复杂，需要通过DeepSpeed等框架进行详细配置，且跨设备通信开销比张量并行略高。但其适配性强，支持大多数大模型架构，是单设备显存极小场景下的重要解决方案。

3.3 模型分片的关键实现逻辑

在PyTorch/Transformers生态中，模型分片的实现依赖于成熟的工具库，无需开发者从零构建，主要通过以下三种工具实现：

1. accelerate库：由Hugging Face推出，专为大模型的训练和推理优化设计，提供了load_checkpoint_and_dispatch函数，支持手动指定层的设备映射（层并行）。其核心优势是配置灵活，可通过代码或配置文件定义设备映射规则，例如将特定层分配到GPU，其他层分配到CPU；同时，支持“空权重加载”（init_empty_weights），先加载模型的权重结构，再根据设备映射动态分配权重，避免加载过程中出现显存溢出。例如，在Fun-Audio-Chat-8B的部署中，可通过accelerate加载模型，指定model.layers.0-10到GPU，model.layers.11-31到CPU，实现精准的层并行。
2. Transformers的device_map参数：简化版的分片工具，可直接在from_pretrained函数中指定device_map参数，实现自动或手动分片。其中，device_map="auto"是最常用的配置，工具会自动检测各设备的显存大小，将模型层分配到显存充足的设备，无需手动配置。例如，在16GB显存的GPU上加载Fun-Audio-Chat-8B量化模型时，device_map="auto"会自动将核心层分配到GPU，轻量层分配到CPU，大幅降低开发成本。此外，也可手动指定映射关系，如device_map={“model.layers.0-10”: 0, “model.layers.11-31”: “cpu”}，实现更精准的控制。
3. DeepSpeed库：功能最全面的大模型优化框架，完整支持ZeRO分片、张量并行等多种并行方式。其核心优势是支持超大规模模型的部署，通过详细的配置文件可实现权重、梯度、优化器状态的精细化拆分；劣势是配置复杂，需要熟悉DeepSpeed的配置规则。例如，配置ZeRO-3分片时，需在配置文件中指定zero_optimization的相关参数，包括分片粒度、通信策略等。DeepSpeed更适合专业开发场景，如30B、70B模型的部署，而在消费级场景中，accelerate和Transformers的device_map已能满足需求。

3.4 模型分片的性能影响

模型分片对性能的影响主要体现在推理速度上，核心取决于拆分方式和设备类型：

GPU内部分片：若将模型拆分到同一GPU的不同显存区域（如通过显存分区技术），无数据传输开销，推理速度几乎无损失。这种方式适合模型单层显存占用过高的场景，例如某一层的权重矩阵在量化后仍占用5GB显存，超过单GPU显存区域的限制，通过内部分片可将其拆分到多个显存区域，避免峰值溢出。

跨设备分片：若拆分到不同设备（如GPU与CPU、多GPU），会因数据传输产生延迟，延迟大小与设备间的带宽相关。GPU与CPU之间的传输带宽通常较低（约10-20GB/s），拆分后推理速度会下降30%-50%；多GPU之间的传输带宽较高（如NVIDIA NVLink带宽可达300GB/s以上），延迟较小，推理速度下降通常在10%-20%以内。因此，跨设备分片的优化建议是：尽量减少跨设备拆分的层数，优先将计算密集型层（如Transformer层、卷积层）放在GPU，将轻量层（如embedding、lm_head）放在CPU；若使用多GPU，优先采用张量并行而非层并行，降低通信开销。

例如，在Fun-Audio-Chat-8B的部署中，若将所有Transformer层放在GPU，仅将embedding和lm_head放在CPU，推理速度比全GPU运行慢约20%；若将一半Transformer层放在CPU，推理速度会慢约50%，且主观体验会出现明显的延迟感。因此，在实际部署中，需根据显存情况和实时性需求平衡拆分层数，避免过度拆分导致性能下降。

四、“量化 + 模型并行/分片”组合优化的协同原理

单独使用量化或模型并行，都可能存在局限，无法高效解决大模型的显存瓶颈问题：仅量化方面，若模型规模过大（如30B模型），即使采用4-bit量化，纯权重占用仍约15GB，加上缓存后总占用约20-22GB，超过16GB显存设备的承载能力，仍会出现OOM（显存溢出）错误；仅模型并行方面，未对模型体积进行压缩，需要拆分大量层到其他设备，导致跨设备通信开销过大，推理速度大幅下降。而两者组合使用可实现协同优化，充分发挥各自的优势，弥补对方的不足。

两者组合的协同优势主要体现在三个方面：一是先压缩再拆分，大幅降低通信开销。量化将模型体积压缩4-8倍，原本需要拆分一半层到CPU的模型，压缩后可能仅需拆分少量轻量层，跨设备传输的数据量减少70%-80%，显著降低延迟。二是显存占用最小化，突破单设备限制。量化降低单层显存占用，模型并行避免单设备峰值溢出，两者结合可实现“16GB显存跑8B模型”“8GB显存跑13B模型”的目标，大幅降低部署成本。三是性能损失可控，平衡精度与效率。量化的精度损失可通过模型并行保留核心层在GPU来弥补，例如核心Transformer层采用8-bit量化，非核心层采用4-bit量化并拆分到CPU，整体精度损失比全4-bit量化降低40%以上，同时显存占用仍控制在合理范围。

组合优化的典型流程以16GB显存跑Fun-Audio-Chat-8B为例，具体步骤如下：首先，原始模型为8B BF16精度，纯权重占用约16GB，加上缓存后总占用约24-26GB，超过16GB显存，无法直接运行；其次，采用4-bit NF4量化，将模型纯权重占用压缩到4GB，加上缓存后总占用约8-10GB，此时核心层可放入GPU，但部分轻量层（如embedding、lm_head）仍需占用少量显存，可能导致峰值溢出；再次，通过模型自动分片（device_map=“auto”），将核心Transformer层分配到GPU（占用约6GB显存），将embedding和lm_head分配到CPU（占用约2GB内存）；最后，推理执行时，GPU负责核心计算，CPU负责辅助层计算，数据传输量小，延迟可控，无OOM错误。这一流程也可推广到其他模型，例如13B模型4-bit量化后总占用约13-15GB，通过拆分轻量层到CPU，可在16GB显存设备上稳定运行。

为更直观地展现组合优化的逻辑，以下是流程示意图：

暂时无法在豆包文档外展示此内容

五、技术选型与实践建议

5.1 量化方案选型

不同量化方案的适配场景和优势存在差异，需根据实际需求选择：

例如，在Fun-Audio-Chat-8B的Demo验证阶段，选择BitsAndBytes 4-bit可快速完成部署验证；在正式上线的智能语音助手场景，选择GPTQ 4-bit可保证语音识别和理解的精度，提升用户体验；若设备显存充足（如24GB显存），选择BitsAndBytes 8-bit可在精度和效率之间达到最佳平衡。

5.2 模型并行方案选型

模型并行方案的选择需结合设备环境和实时性需求：

例如，在16GB显存的单GPU环境中，部署Fun-Audio-Chat-8B时，直接使用device_map="auto"即可完成自动分片，无需额外配置；在8GB显存的单GPU环境中，需结合ZeRO-1分片，将部分权重拆分到CPU，才能实现13B模型的部署；在2×16GB的多GPU环境中，采用张量并行可将8B模型的每层权重拆分到两个GPU，单卡显存占用降低50%，推理速度比单GPU快60%以上。

5.3 避坑指南

在“量化+模型并行/分片”的实践过程中，常见问题及解决方案如下：

1. 量化后仍OOM：若启用量化后仍出现显存溢出错误，首先检查是否启用了low_cpu_mem_usage=True参数——该参数可降低模型加载过程中的显存峰值，避免加载时OOM；其次，可增加gradient_checkpointing_enable()配置，通过牺牲部分推理速度换取显存占用的降低（通常可减少20%-30%的显存占用）；最后，检查是否存在冗余的缓存占用，例如关闭不必要的中间结果保存，或降低生成长度（max_new_tokens），减少激活值的显存占用。
2. 推理速度过慢：若拆分后推理速度明显下降，优先减少CPU上的层数，仅将轻量层（如embedding、lm_head）放在CPU，核心计算层保留在GPU；若使用多GPU，切换到张量并行方案，降低跨设备通信开销；此外，可关闭不必要的精度优化（如do_sample=False），减少计算量，提升推理速度。
3. 精度下降明显：若量化后模型精度无法满足需求，可从4-bit量化切换到8-bit量化，或使用GPTQ量化替代BitsAndBytes；同时，可通过模型并行保留核心层的高精度，例如核心Transformer层采用8-bit量化，非核心层采用4-bit量化，平衡精度与显存。
4. 加载模型报错：若加载时提示“ModuleNotFoundError”（如缺少modeling_funaudiochat.py），需检查模型文件是否完整，确保自定义代码文件未遗漏或被误删；若提示“Transformers版本不兼容”，需升级Transformers到4.40.0以上版本，确保支持最新的量化和分片功能；若提示“设备映射错误”，需检查device_map的配置格式是否正确，避免出现设备编号错误或层名称错误。

六、总结

“量化 + 模型并行/分片”是大模型落地的核心优化技术组合，完美解决了“大模型规模大”与“硬件资源有限”的核心矛盾。其中，量化通过​精度换显存​，从根源上压缩模型体积，减少单设备的显存负载；模型并行/分片通过​拆分换容量​，突破单设备显存限制，实现多设备协同推理；两者协同作用，既降低了显存占用，又控制了性能损失，让消费级GPU也能部署8B、13B甚至更大规模的模型，大幅降低了大模型的应用门槛。

在实际应用中，需遵循“先量化后分片”的核心思路：优先通过量化将模型体积压缩到合理范围，再根据设备显存情况选择合适的并行方案。具体而言，快速验证场景优先选择BitsAndBytes 4-bit+device_map=“auto”，配置简单且效率高；正式部署场景优先选择GPTQ 4-bit+张量并行（多GPU）或手动层并行（单GPU），平衡精度与速度；高精度需求场景选择BitsAndBytes 8-bit，尽量减少量化带来的精度损失。

随着大模型技术的不断发展，量化与模型并行的优化方案也在持续迭代，例如更高效的量化算法（如GPTQ的改进版本）、更低延迟的并行通信技术（如NVLink的升级），将进一步提升大模型的部署效率。未来，这些技术将在智能终端、边缘设备等更多场景中得到广泛应用，推动大模型从“云端”走向“端侧”，实现更普惠的AI应用。

如果需要具体模型的优化脚本（如Fun-Audio-Chat-8B、LLaMA-7B等），或在实践过程中遇到具体问题，欢迎在评论区留言交流！

参考资料

https://blog.csdn.net/weixin_41194129/article/details/156343587?spm=1001.2014.3001.5501
https://jalammar.github.io/illustrated-transformer/
https://developer.aliyun.com/article/1681914
https://juejin.cn/post/7316202656242417673
https://zhuanlan.zhihu.com/p/32223089114