佛山市网站建设_网站建设公司_悬停效果_seo优化

Multi-LoRA(Low-Rank Adaptation)作为大模型部署的常见方案，解决了多场景的训/推成本高的问题。本文围绕Multi-LoRA，结合原理和案例展开叙述。读者参考本文提供的notebook用例[1]（有条件可尝试在线运行[2]），按照步骤实践后，基本能掌握相关概念与Multi-LoRA的构建过程。

关键问题：

• 什么是低秩分解，对计算有什么影响？
• LoRA特点是什么，一般应用在哪些层上？
• Multi-LoRA原理是什么，如何提升其性能？

1 基本原理

1.1 问题与方案

为了让大模型在细分领域要取得更好的效果，会用领域数据进行微调训练，且微调模型时期望用少量的训练步骤完成对权重的更新。微调一个大模型要有匹配的硬件资源和足够的训练时间。对于动辄百亿参数的大模型而言，可能出现如下问题：

• 硬件资源无法支持起基础模型的训练。如显存不足、算力太低（训练时间过长）；
• 训练不收敛或者效果不佳；
• 大模型的通用能力可能下降。

既然大模型的全量调参成本高，是否能仅微调部分达到全量微调的效果？这个问题已有不少的研究，如：

• 适配器(Adapter[3])：一种在模型中插入新层的方式，仅训练插入的适配器；

• 前缀调优（Prefix Tuning[4]）：给Attention KV层中添加一个前缀，并只训练这个附加的前缀参数；类似的还有提示词调优（Prompt Tuning[5]）；

• 局部训练：仅训练Transformer 的 LayerNorm参数[6]，或者仅训练 Bias ( BitFit[7])；

• 低秩适配（LoRA）：给模型增加降秩权重，且仅训练该新增的权重；

当然这些方法也可以混合使用[8]。

参数高效迁移学习 (PETL，parameter-efficient transfer learning)

上述迁移学习的方式各有特点，此处不展开讨论，主要聚焦LoRA方法的相关内容。

1.2 低秩分解的原理

LoRA原理涉及的关键知识：任意矩阵都能进行奇异值分解（Singular Value Decomposition，SVD）；当矩阵是不满秩矩阵（Rank-deficient Matrix）时，可以用低秩的分解矩阵来代替原矩阵。

具体展开说明。对于一般矩阵通过SVD计算能够得到三个子矩阵，公式如下：

其中,矩阵的秩数满足：

是一个对角矩阵，对角上非零元素个数等于秩数，当W为不满秩矩阵时，

，，

这里举个3x2矩阵分解的例子，如下图所示，将矩阵W进行SVD处理，得到分解矩阵。其中3x2的对角矩阵最后一行必为0，所以可以简化表达；进一步若还存在‘0’的对角元素，可以进一步简化。简化后的分解矩阵乘积依然等于原矩阵。

优势：当矩阵的尺寸（m,n）较大时，分解矩阵的特点是元素个数相比原矩阵的更少，r越小元素越少。比如当r=1，m=n=1000时，原矩阵元素个数为1000,000，分解矩阵元素总数为2001，比值小于0.5%。参数量少带来好处是：计算量少、存储量少。

1.3 低秩分解的代码实践

这里我们通过一个简单的乘法示例来验证分解矩阵的特点。先创建一个非满秩的矩阵W并进行SVD计算，接着建立B、A矩阵，最后定义一个乘加运算，对比原矩阵与分解矩阵的计算差异。

• step1：创建一个非满秩矩阵

import torch import numpy as np d, k = 10, 10 # 创建一个非满秩矩阵(a rank-deficient matrix) W_rank = 2 W = torch.randn(d,W_rank) @ torch.randn(W_rank,k) W_rank = np.linalg.matrix_rank(W)

打印相关结果：

• step2：进行SVD分解，构建B、A矩阵。

# 对W进行SVD处理：(W = UxSxV^T) U, S, V = torch.svd(W) # 对于对角矩阵S保留前rank个数据即可，相应的U和V也只要保存前rank行的数据。 U_r = U[:, :W_rank] S_r = torch.diag(S[:W_rank]) V_r = V[:, :W_rank].t() # 定义： B = U_r * S_r；A = V_r B = U_r @ S_r A = V_r

打印相关参数：

• step3：构建一个线性层，对比计算差异：

# 创建一个线性运算的输入， y = Wx + b bias = torch.randn(d) x = torch.randn(d) # 原始计算 y = Wx + bias y = W @ x + bias # 分解矩阵计算 y' = (B*A)x + bias y_prime = (B @ A) @ x + bias print(f"The result is allclose: {torch.allclose(y, y_prime)}")

可以看到打印输出为True，该例中W的元素个数为100，B和A的元素总数为40。

低秩分解降低了元素总数，且不改变计算结果；如果分解运算为一次运算，则在算量上面也更少。

2 LoRA

2.1 计算公式

LoRA正是用低秩分解矩阵的特点来降低微调矩阵的元素个数，原矩阵为[9]：

其中

微调时

2.2 LoRA训练/推理实践

一个数字0~9手写体识别训练场景，数据采用MNIST。训练一个3层的MLP，让其具备数字手写体识别的能力。为了体现LoRA的作用，需要对数据集进行处理，先全量训练，再增加LoRA微调。大致步骤如下：

• step1：构建主模型并训练，训练数据集去掉数字‘1’；

• step2：测试主模型的识别能力；

• step3：创建LoRA层；

• step4：主模型的参数冻结，用数字‘1’的数据进行微调；

• step5：测试LoRA模型，观测数据‘1’识别度差异。

构建一个简单的模型：

# 创建一个全连接的网络用于手写体识别： class MLP(nn.Module): def __init__(self, hidden_size_1=1000, hidden_size_2=2000): super(MLP,self).__init__() self.linear1 = nn.Linear(28*28, hidden_size_1) self.linear2 = nn.Linear(hidden_size_1, hidden_size_2) self.linear3 = nn.Linear(hidden_size_2, 10) self.relu = nn.ReLU() def forward(self, img): x = img.view(-1, 28*28) x = self.relu(self.linear1(x)) x = self.relu(self.linear2(x)) x = self.linear3(x) return x net = MLP().to(device)

模型结构

接着定义模型的训练函数、测试函数：

# 训练函数定义： def train(train_loader, net, epochs=5, total_iterations_limit=None): cross_el = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(net.parameters(), lr=0.001) total_iterations = 0 for epoch in range(epochs): net.train() loss_sum = 0 num_iterations = 0 data_iterator = tqdm(train_loader, desc=f'Epoch {epoch+1}') if total_iterations_limit is not None: data_iterator.total = total_iterations_limit for data in data_iterator: num_iterations += 1 total_iterations += 1 x, y = data x = x.to(device) y = y.to(device) optimizer.zero_grad() output = net(x.view(-1, 28*28)) loss = cross_el(output, y) loss_sum += loss.item() avg_loss = loss_sum / num_iterations data_iterator.set_postfix(loss=avg_loss) loss.backward() optimizer.step() if total_iterations_limit is not None and total_iterations >= total_iterations_limit: return # 测试函数定义： def test(model=net): correct = 0 total = 0 wrong_counts = [0 for i in range(10)] with torch.no_grad(): for data in tqdm(test_loader, desc='Testing'): x, y = data x = x.to(device) y = y.to(device) output = model(x.view(-1, 784)) for idx, i in enumerate(output): if torch.argmax(i) == y[idx]: correct +=1 else: wrong_counts[y[idx]] +=1 total +=1 result_str = "" for i in range(len(wrong_counts)): result_str += f'The wrong counts of digit {i}: {wrong_counts[i]}\n' print(f'\nAccuracy: {round(correct/total, 3)}\n{result_str}')

• step1：构建主模型并训练，训练数据集去掉数字‘1’。

# 下载MNIST手写体数字识别的数据 transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))]) # 加载手写体数据： mnist_trainset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) # 训练集 train_loader = torch.utils.data.DataLoader(mnist_trainset, batch_size=10, shuffle=True) mnist_testset = datasets.MNIST(root='./data', train=False, download=True, transform=transform) # 测试集 # 去掉数字‘1'的数据，模型对‘1'的识别率存在问题 exclude_indices = torch.tensor([False if x == 1 else True for x in mnist_trainset.targets]) mnist_trainset.data = mnist_trainset.data[exclude_indices] mnist_trainset.targets = mnist_trainset.targets[exclude_indices] # 训练模型：

• step2：测试主模型的识别能力。

test_loader = torch.utils.data.DataLoader(mnist_testset, batch_size=10, shuffle=True) test()

可以看到，数字‘1’在测试集上表现不佳。

• step3：创建LoRA层

# 定义LoRA对权重修改： class LoRAParametrization(nn.Module): def __init__(self, features_in, features_out, rank=1, alpha=1, device='cpu'): super().__init__() # 低秩矩阵的定义： self.lora_A = nn.Parameter(torch.zeros((rank,features_out)).to(device)) self.lora_B = nn.Parameter(torch.zeros((features_in, rank)).to(device)) nn.init.normal_(self.lora_A, mean=0, std=1) # 参考论文：https://arxiv.org/pdf/2106.09685 4.1节 设置一个比例系数： self.scale = alpha / rank # LoRA开关： self.enabled = True def forward(self, original_weights): if self.enabled: # Return W + (B*A)*scale return original_weights + torch.matmul(self.lora_B, self.lora_A).view(original_weights.shape) * self.scale else: return original_weights

将LoRA层注册到模型中：

def linear_layer_parameterization(layer, device, rank=1, lora_alpha=1): # LoRA仅修改W，忽略bias修改。 features_in, features_out = layer.weight.shape return LoRAParametrization( features_in, features_out, rank=rank, alpha=lora_alpha, device=device ) # 保存一份原始权重数据，用于后续校验 original_weights = {} for name, param in net.named_parameters(): original_weights[name] = param.clone().detach() # 注册LoRA权重到原始层中： parametrize.register_parametrization( net.linear1, "weight", linear_layer_parameterization(net.linear1, device) ) parametrize.register_parametrization( net.linear2, "weight", linear_layer_parameterization(net.linear2, device) ) parametrize.register_parametrization( net.linear3, "weight", linear_layer_parameterization(net.linear3, device) ) # 定义LoRA开关函数： def enable_disable_lora(enabled=True): for layer in [net.linear1, net.linear2, net.linear3]: layer.parametrizations["weight"][0].enabled = enabled

打印原始参数和添加LoRA参数的对比，LoRA占比仅0.242%。

• step4：用数字‘1’数据微调；

# 将原始权重冻结： for name, param in net.named_parameters(): if 'lora' not in name: print(f'Freezing non-LoRA parameter {name}') param.requires_grad = False # 过滤数据，仅保留‘1'的数据： mnist_trainset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) exclude_indices = torch.tensor([True if x == 1 else False for x in mnist_trainset.targets]) mnist_trainset.data = mnist_trainset.data[exclude_indices] mnist_trainset.targets = mnist_trainset.targets[exclude_indices] train_loader = torch.utils.data.DataLoader(mnist_trainset, batch_size=10, shuffle=True) # 用数据‘1'训练带有LoRA的模型： train(train_loader, net, epochs=1, total_iterations_limit=100)

• step5：测试LoRA模型，观测数据‘1’识别度差异。

# 测试有LoRA的情况: enable_disable_lora(enabled=True) test()

打印正确率，找到数字‘1’的错误个数，相比原模型明显降低了。

与原始模型的测试输出的正确率进行一个对比，除了数字‘1’以外其它数字的识别精度均下降。

LoRA特点小结

优点：

• LoRA采用了横向扩展参数的方式，训练时原模型参数冻结、仅微调扩展参数，扩展参数采用低秩矩阵，保证了较低的参数量。

• 实践证明了LoRA的有效性，甚至能让小模型微调能达到大模型的水平[10]。

• LoRA的适配方式能够保证各个垂直领域解耦训练，互不干扰。

不足：

• 分解矩阵B、A的秩小于原矩阵W，表达能力弱，导致LoRA的效果可能弱于全量微调；
• 当主模型参数量比较大且r取值不能太小时，LoRA训练成本依然很高。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​