VibeThinker-1.5B自动化测试：5元钱完成迭代验证
2026/1/15 3:23:50
Unsloth实战项目：让大模型自己学会解数学题
1. 引言：提升大模型推理能力的新路径
在当前的大语言模型（LLM）研究中，如何增强模型的逻辑推理能力是核心挑战之一。传统监督微调（SFT）虽然能教会模型“回答问题”，但难以系统化地引导其掌握“思考过程”。近年来，强化学习（Reinforcement Learning, RL）成为突破这一瓶颈的关键技术。
本文将围绕一个真实场景展开：使用Unsloth框架结合GRPO（Generative Reward-Paired Optimization）算法，对 Qwen2.5-7B 模型进行微调，使其具备自主解数学题的能力。我们将重点解决以下问题：
- 如何通过结构化输出（如 XML 格式）强制模型展现思维链（Chain-of-Thought）
- 如何设计多维度奖励函数来指导模型行为
- 为何 GRPO 相比 PPO 更适合资源受限环境下的训练
- 如何利用 Unsloth 实现高效、低显存的端到端训练流程
本方案特别适用于教育、自动化评测、代码生成等需要可解释性推理路径的应用场景。
2. 技术背景与核心优势
2.1 Unsloth 简介
Unsloth 是一个开源的 LLM 微调和强化学习框架，致力于降低大模型训练的门槛。其核心优势包括：
- 速度提升 2 倍以上：通过内核融合、vLLM 集成等优化手段加速前向和反向传播
- 显存占用降低 70%：支持 4bit 量化加载、梯度检查点、LoRA 参数高效微调
- 兼容性强：无缝集成 Hugging Face Transformers、PEFT、TRL 等主流库
- 单卡可训 RL：结合 GRPO 等无 Critic 的算法，可在 24GB 显存显卡上完成完整训练
2.2 GRPO vs PPO：为什么选择 GRPO？
传统的 PPO（Proximal Policy Optimization）在 LLM 强化学习中广泛应用，但存在显著缺陷：
| 组件 | 是否需要 | 显存开销 |
|---|---|---|
| Policy Model | ✅ | 高 |
| Reference Model | ✅ | 高 |
| Reward Model | ✅ | 高 |
| Value/Critic Model | ✅ | 高 |
而GRPO由 DeepSeek 团队提出，去除了 Critic 模型，转而采用组内归一化优势估计（Intra-group Advantage Estimation），即：
对同一个问题生成多个答案 → 计算平均得分作为基准 → 将高于平均分的答案视为正样本，反之为负样本 → 更新策略网络
这种方式不仅大幅减少显存占用，还提升了训练稳定性，尤其适合数学题这类有明确正确答案的任务。
3. 实战步骤详解
3.1 环境准备与依赖安装
首先确保已成功部署包含unsloth的镜像环境，并验证安装状态：
# 查看 conda 环境列表 conda env list # 激活 unsloth 环境 conda activate unsloth_env # 验证 unsloth 安装成功 python -m unsloth若命令执行无报错且显示版本信息，则说明环境就绪。
接下来安装必要的依赖包：
pip install --no-deps "trl<0.9.0" peft accelerate bitsandbytes pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1213.2 模型加载与 LoRA 配置
我们使用FastLanguageModel.from_pretrained加载 Qwen2.5-7B-Instruct 模型，并启用关键优化选项。
from unsloth import FastLanguageModel import torch max_seq_length = 1024 lora_rank = 32 model, tokenizer = FastLanguageModel.from_pretrained( model_name = "/root/autodl-tmp/models/Qwen/Qwen2___5-7B-Instruct", max_seq_length = max_seq_length, load_in_4bit = True, # 启用 4bit 量化 fast_inference = True, # 使用 vLLM 加速推理 max_lora_rank = lora_rank, gpu_memory_utilization = 0.6, # 控制显存利用率 )随后配置 LoRA（Low-Rank Adaptation）以实现参数高效微调：
model = FastLanguageModel.get_peft_model( model, r = lora_rank, target_modules = [ "q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", ], lora_alpha = lora_rank, use_gradient_checkpointing = "unsloth", random_state = 3407, )提示：
use_gradient_checkpointing="unsloth"可进一步节省约 30% 显存，适合长序列任务。
3.3 数据集构建与格式化处理
我们选用 GSM8K 数据集作为训练数据源，该数据集包含小学水平的数学应用题及其逐步解答。
自定义 System Prompt
为了引导模型输出结构化思维链，我们定义如下系统提示：
SYSTEM_PROMPT = """ Respond in the following format: <reasoning> ... </reasoning> <answer> ... </answer> """数据预处理函数
from datasets import load_dataset, Dataset def extract_hash_answer(text: str) -> str | None: if "####" not in text: return None return text.split("####")[1].strip() def get_gsm8k_questions(split="train") -> Dataset: data = load_dataset('/root/autodl-tmp/datasets/gsm8k', 'main')[split] return data.map(lambda x: { 'prompt': [ {'role': 'system', 'content': SYSTEM_PROMPT}, {'role': 'user', 'content': x['question']} ], 'answer': extract_hash_answer(x['answer']) })这样每条样本都包含标准化的对话格式和标准答案字段，便于后续奖励计算。
3.4 多维度奖励函数设计
强化学习的效果高度依赖于奖励函数的设计。我们构建了五个层次递进的奖励函数，分别从不同角度引导模型行为。
辅助函数：提取 XML 中的答案
def extract_xml_answer(text: str) -> str: try: answer = text.split("<answer>")[-1] answer = answer.split("</answer>")[0] return answer.strip() except: return ""（1）正确性奖励（Correctness Reward）
最核心指标，判断模型是否得出正确答案。
def correctness_reward_func(prompts, completions, answer, **kwargs) -> list[float]: responses = [completion[0]['content'] for completion in completions] extracted_responses = [extract_xml_answer(r) for r in responses] print('-'*20, f"\nResponse:\n{responses[0]}", f"\nExtracted:\n{extracted_responses[0]}") return [2.0 if r == a else 0.0 for r, a in zip(extracted_responses, answer)]（2）整数奖励（Integer Reward）
鼓励模型输出纯数字形式的答案。
def int_reward_func(completions, **kwargs) -> list[float]: responses = [completion[0]['content'] for completion in completions] extracted_responses = [extract_xml_answer(r) for r in responses] return [0.5 if r.isdigit() else 0.0 for r in extracted_responses]（3）严格格式奖励（Strict Format Reward）
要求完全符合预设的 XML 结构。
import re def strict_format_reward_func(completions, **kwargs) -> list[float]: pattern = r"^<reasoning>\n.*?\n</reasoning>\n<answer>\n.*?\n</answer>\n$" responses = [completion[0]["content"] for completion in completions] matches = [re.match(pattern, r) for r in responses] return [0.5 if match else 0.0 for match in matches]（4）宽松格式奖励（Soft Format Reward）
防止初期因格式过严导致无法学习。
def soft_format_reward_func(completions, **kwargs) -> list[float]: pattern = r"<reasoning>.*?</reasoning>\s*<answer>.*?</answer>" responses = [completion[0]["content"] for completion in completions] matches = [re.search(pattern, r) for r in responses] return [0.5 if match else 0.0 for match in matches]（5）XML 计数奖励（XML Count Reward）
细粒度引导标签完整性。
def xmlcount_reward_func(completions, **kwargs) -> list[float]: def count_xml(text): count = 0.0 if text.count("<reasoning>\n") == 1: count += 0.125 if text.count("\n</reasoning>\n") == 1: count += 0.125 if text.count("\n<answer>\n") == 1: count += 0.125 if text.count("\n</answer>") == 1: count += 0.125 return count return [count_xml(c[0]["content"]) for c in completions]这些奖励函数共同构成一个多目标优化体系，既关注结果正确性，也强调过程规范性。
3.5 GRPOTrainer 配置与训练启动
导入 TRL 库中的GRPOConfig和GRPOTrainer，开始配置训练参数。
from trl import GRPOConfig, GRPOTrainer training_args = GRPOConfig( learning_rate = 5e-6, adam_beta1 = 0.9, adam_beta2 = 0.99, weight_decay = 0.1, warmup_ratio = 0.1, lr_scheduler_type = "cosine", optim = "paged_adamw_8bit", logging_steps = 1, per_device_train_batch_size = 1, gradient_accumulation_steps = 1, # GRPO 特有参数 num_generations = 6, # 每个 prompt 生成 6 个回复用于对比 max_prompt_length = 256, max_completion_length = 768, max_steps = 250, save_steps = 250, max_grad_norm = 0.1, report_to = "none", output_dir = "outputs", )初始化训练器并传入所有奖励函数：
trainer = GRPOTrainer( model = model, processing_class = tokenizer, reward_funcs = [ xmlcount_reward_func, soft_format_reward_func, strict_format_reward_func, int_reward_func, correctness_reward_func, ], args = training_args, train_dataset = dataset, ) # 开始训练 trainer.train()训练过程中会实时输出 loss 和各 reward 函数的平均值，可用于监控收敛情况。
3.6 推理测试与模型保存
训练完成后，进行快速推理验证效果。
# 保存 LoRA 权重 model.save_lora("grpo_saved_lora") # 构造测试输入 text = tokenizer.apply_chat_template([ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": "Calculate pi."} ], tokenize=False, add_generation_prompt=True) from vllm import SamplingParams sampling_params = SamplingParams( temperature=0.8, top_p=0.95, max_tokens=1024, ) # 使用训练好的 LoRA 进行推理 output = model.fast_generate( text, sampling_params=sampling_params, lora_request=model.load_lora("grpo_saved_lora"), )[0].outputs[0].text print(output)预期输出应为类似以下结构的内容：
<reasoning> The value of pi is approximately 3.14159, commonly rounded to 3.14. </reasoning> <answer> 3.14 </answer>4. 总结
本文详细介绍了如何使用Unsloth + GRPO框架训练一个能够自主解数学题的大语言模型。整个流程的核心亮点如下：
- 高效训练架构：借助 Unsloth 的 4bit 量化与 vLLM 加速，显著降低资源消耗。
- 创新优化算法：采用 GRPO 替代传统 PPO，省去 Critic 模型，实现单卡 RL 训练。
- 结构化输出控制：通过 System Prompt 和 XML 标签强制模型输出 Chain-of-Thought。
- 多层次奖励机制：设计五种奖励函数，兼顾格式、内容、语义等多个维度。
- 工程可落地性强：提供完整代码模板，支持本地或云端一键部署。
该方法不仅适用于数学题求解，还可扩展至代码生成、科学推理、考试自动评分等领域。对于希望在有限硬件条件下探索 LLM 强化学习的研究者和开发者而言，是一套极具参考价值的技术路线。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。