跳至内容
第 4 章 微调变体与后训练:Swift、ThinkingCap、Signal 们到底改了什么

第 4 章 微调变体与后训练:Swift、ThinkingCap、Signal 们到底改了什么

所属专题:本地大模型架构与推理框架详解

第 2 章对照了几代 27B 的结构配置。本章比较几种改法:Swift 做了后训练,原版 GSQ-RCO 改变量化表示,Qwen-Sharp 只换对话模板。实测差异要对回各自改动和题集。 这一章讲:

  • 现代大模型的“后训练”是怎么回事,和 BERT 时代的微调有什么不同;
  • 每个变体用了什么方法、想达到什么目的;
  • 为什么它们“省 token”却很少“更聪明”,有的还明显变差;
  • 为什么微调会影响推测解码的速度;
  • 怎么看待模型卡上的“自报分数”。

来源标记:【官方】= 模型卡;【作者自报】= 模型作者自己的数字;【论文】;【社区】;【本机实测】;【推断】= 我的理解。


4.1 从 BERT 微调到现代“后训练”

4.1.1 BERT 时代

预训练(MLM + NSP)→ 加一个任务头(分类层)→ 在标注数据上全量微调 → 一个任务一个模型

目标是判别:给句子打标签。微调改的是“表示 + 分类头”。

4.1.2 现在

预训练(下一个 token 预测,学语言和知识)
   ↓
SFT / 指令微调(学“按指令回答”的格式和行为)
   ↓
偏好优化(RLHF / DPO / SimPO:学“两个回答里哪个更好”)
   ↓
强化学习(RLVR:用能自动判对错的奖励学推理)
   ↓
一个模型做所有任务

关键区别:没有新增的任务头。模型从头到尾是一个“接话”的生成器,后训练改变的是它“倾向于怎么接话”,也就是输出的行为分布:说多长、用什么格式、想多久、什么时候拒答、怎么调用工具。

Qwen 官方发布的 Qwen3.8-27B 已经走完了这整条流水线。社区的变体都是在官方成品上再做一轮后训练,通常只针对一个目标(比如“想得短一点”),代价是可能破坏官方后训练调好的其他平衡。

4.1.3 每一步在做什么

SFT(监督微调):和 BERT 的微调最像。准备“提示 → 理想回答”的样本,用交叉熵损失让模型学会生成这些回答。和 BERT 不同的是,损失算在回答的每一个 token 上(提示部分通常不算)。

RLHF + PPO(InstructGPT,arXiv 2203.02155)【论文】:

  1. 让人给同一提示的多个回答排序,训练一个奖励模型(输入回答、输出一个分数);
  2. 用强化学习算法 PPO 让语言模型最大化奖励,同时加一个 KL 惩罚,防止偏离原模型太远。

问题:要同时维护策略模型、参考模型、奖励模型、价值模型四个大模型,贵而且不稳定。

DPO(arXiv 2305.18290)【论文】:数学上证明可以跳过奖励模型和强化学习,直接在“好回答 / 坏回答”对上用一个类似分类的损失训练:

损失 = −log σ( β · [ log(π(好)/π_ref(好)) − log(π(坏)/π_ref(坏)) ] )

直觉:让模型生成“好回答”的概率相对参考模型提高,“坏回答”的概率相对降低。还需要一个参考模型,但不需要采样。

SimPO(arXiv 2405.14734)【论文】:进一步去掉参考模型,用“回答的平均对数概率”作为隐式奖励,加一个目标间隔。更省显存。Merkyor 的 EfficientThink 用了它。

RLOO 和 GRPO:这两种是现在“推理模型”的主流强化学习算法,思路很像【论文】:

对同一道题,让模型采样 k 个回答(比如 8 个)
用规则给每个回答打分(答案对 = 1,错 = 0;代码过测试 = 1)
每个回答的“优势” = 自己的分数 − 同组其他回答的平均分(RLOO)
                 或 (自己的分数 − 组均值) / 组标准差(GRPO)
优势为正的回答,提高它的概率;为负的,降低

比 PPO 简单得多:不需要价值模型,“基线”直接用同组回答的平均。组里全对或全错时优势都是 0,没有学习信号,所以 Merkyor 只保留“有对有错”的组。

  • RLOO(Back to Basics,arXiv 2402.14740)
  • GRPO(DeepSeekMath,arXiv 2402.03300),DeepSeek-R1(arXiv 2501.12948)用它训出了长思考能力

RLVR(可验证奖励的强化学习,Tulu 3 提出的名字,arXiv 2411.15124):奖励不来自奖励模型,而是来自能程序判定的结果,如数学答案对不对、代码过不过测试、JSON 格式合不合法。好处是没法“骗”奖励模型。思考模型的推理能力主要是这么训出来的。

4.1.4 三种“蒸馏”,别搞混

名字学生学什么本机例子
经典知识蒸馏(Hinton,arXiv 1503.02531)教师输出的完整概率分布(软标签),用 KL 散度做损失JEV-27B:拟合 TypeSafe Jev 1.13 在每个选项上的概率
合成数据 SFT(社区常说的“蒸馏某某模型”)教师生成的文本,只看到采样出的 token,没有概率Merkyor:用 Opus 5.5、GPT-6 Astra 等闭源模型写的答案做 SFT
自蒸馏“加了特殊指令的自己”生成的回答,训练“不加指令也这样”Signal:让基座在“请直接回答”的指令下作答,再训练成默认就直接
在线策略蒸馏(OPD)学生自己采样,教师逐 token 打分或给出分布Swift 1.5 用来恢复精度

自蒸馏的好处是不引入外部的知识分布,遗忘小;坏处是上限受限于模型原有的能力。

4.1.5 LoRA:只训练一个小增量

全量微调 27B 要存 27B 份梯度和优化器状态,几百 GB 显存。LoRA(arXiv 2106.09685)【论文】的做法:

原权重 W(d × k,冻结不动)
新增两个小矩阵 A(r × k)和 B(d × r),r 很小(比如 16)
实际用的权重 = W + (α / r) · B · A

只训练 A 和 B。5120 × 5120 的矩阵有 2600 万参数,r = 16 的 LoRA 只有 16 × (5120 + 5120) = 16 万,是原来的 0.6%。

为什么低秩够用:微调对权重的改变通常集中在少数几个“方向”上【论文的实验结论】。

LoRA 的两种用法:

  • 合并回 W:推理时没有任何额外开销,但就变成了一个新模型;
  • 作为开关挂载:同一个基座可以随时切换不同的 LoRA。JEV-27B 就是这样:开 LoRA 是决策模型,关 LoRA 就是原版 Qwen3.8-27B。

QLoRA(arXiv 2305.14314):基座先量化成 4 位,再在上面训 LoRA,单卡就能微调大模型。

4.1.6 聊天模板:不改权重也能改行为

模型在后训练时见过固定格式的输入,比如:

<|im_start|>system
你是一个助手<|im_end|>
<|im_start|>user
问题<|im_end|>
<|im_start|>assistant
<think>
...推理...
</think>
答案<|im_end|>

聊天模板(chat_template.jinja)决定推理时把对话拼成什么样的 token 序列:要不要插系统提示、历史消息里的 <think> 块留不留、思考档位的指令怎么写、工具调用用什么格式。

改模板 = 改输入分布 = 改行为,权重一点没动。Qwen-Sharp(4.2.7 节)就是一个纯模板项目。

一个实际坑【社区】:不同推理引擎读模板的方式不一样。SGLang 默认忽略本地的 chat_template.jinja,要用 --chat-template 指定;tokenizer_config.json 里的模板和单独的 jinja 文件不一致时,各引擎行为不同。

4.1.7 模型合并和去拒答

合并:把几个同底座的模型直接在权重空间里混合(线性插值、SLERP、TIES 等),不训练。前提是同一个底座、权重在同一个“盆地”里,否则没有任何保证(综述 arXiv 2408.07666)【论文】。

  • JetBrains 的 Qwen3.8-3.6-27B-blend:Qwen3.6-27B 和 3.8-27B 各 50% 线性插值,没有额外训练【官方】。
  • DavidAU 系列:大量合并 + 去拒答的组合,作者自报的基准自己也说“仍在复核”【社区】。

去拒答(abliteration):论文发现,模型“拒绝回答”这个行为在激活空间里由一个方向控制(arXiv 2406.11717)【论文】。找到这个方向,从权重里把它投影掉,模型就不再拒答。Heretic 是自动做这件事的工具。它不重新训练,直接改权重,会轻微损伤能力。


4.2 本机测过的变体,逐个看

4.2.1 先看本机实测总表

【本机实测】精简套件:HumanEval 164 题、MMLU-Pro 直答每类 50 题(共 700 题)、GSM8K 开思考 200 题、MMLU-Pro CoT 开思考每类 12 题(168 题)、IFEval 开思考 100 题;llama.cpp Vulkan,温度 0,思考上限 8192 token;所有模型同一批题号,逐题配对做 McNemar 检验(第 7 章)。

模型HumanEvalMMLU-Pro 直答GSM8KMMLU-Pro CoTIFEval平均输出 token(GSM8K / CoT / IFEval)解码 tok/s(代码,R9700)
原版 UD-Q6_K97.663.998.582.794.0528 / 1410 / 166063.4
Swift-1.5(Q6_K)97.064.198.585.194.0438 / 1007 / 139261.6
ThinkingCap95.764.097.085.192.0338 / 572 / 119762.3
Swift-1.5 GSQ-RCO(3.5 位)96.362.998.082.792.0552 / 1023 / 139277.4
GSQ-RCO 27B(3.5 位,原版权重)96.364.097.581.591.0674 / 1744 / 181675.2
Coder39095.164.098.083.991.0思考少 12–24%57.6
Signal96.364.697.082.183.0思考少 9–10%61.6
AREX-296.355.098.583.389.0GSM8K 少 36%60.5

按未校正的逐项 p 值判断(多重比较的限制见第 7 章 7.3.4),粗体的两项低于原版:Signal 的 IFEval −11 分(p = 0.003),AREX-2 的 MMLU-Pro 直答 −8.9 分(p < 0.001)。其余所有差异 p 都大于 0.05,分不出高低。 表里的 GSQ-RCO 27B 是原版权重量化,不是新的后训练;Swift-1.5 GSQ-RCO 则是先改权重再量化。Qwen-Sharp 仅改模板,不应算作第三组训练结果。

一句话结论:没有一个变体在统计上显著超过原版。对这套题而言,有数据支持的换用理由是部分变体能少写 token;是否更适合多轮智能体等其他任务,要按相应负载另测。

4.2.2 Swift 1.0 / 1.5(UkisAI):惩罚“过度思考”的 token

目的:思考模型在简单题上也会写几千 token 的推理(“2+3 等于几”都要反复验证)。Swift 想在不掉分的前提下把思考变短。

方法【官方】:

  • 1.0:找出那些“触发过度思考”的推理标记 token(比如反复出现的“等等,让我再检查一下”这类转折),微调时惩罚它们;还融合了一部分 ThinkingCap-Qwen3.6 的“迁移分量”;
  • 1.5:在此基础上惩罚“病理性过度思考”,再用强化学习 + 在线策略蒸馏把精度补回来;后训练侧重长程智能体和编码。
  • 训练数据未公开。训练用了 8 × H100(NVIDIA Innovation Lab 提供)。

作者自报:

  • 头条的“思考 token 少 58.5%”,其实是 GPQA-Diamond 一个基准上的中位数;同一基准的均值是 41.9%;跨基准的均值从 16.3% 到 53.9% 不等。
  • “精度损失 < 1%”是按平均分算的;单项看,AIME 2026 98.67 → 96.00,HMMT 99.33 → 97.33,IFBench 73.53 → 72.07,ERQA 67.45 → 65.40,这四项分别降了 2.67、2.00、1.46 和 2.05 分。
  • 作者自己承认:量化版结果只有单次运行、小样本,“不能证明质量持平”。这一点很诚实。

本机实测:在这批配对题、温度 0、8192 token 上限下,Swift-1.5 Q6_K 五项均未检出相对原版的显著差异。开思考时 token 少 16–29%,代码解码 61.6 对 63.4 tok/s;省的是要写的字数,不是每个字突然写得更快。

许可:当时的 Swift Open License 按组织年收入 100 万美元设置条件;具体版本、收入定义及企业授权以该发布所附条款为准。

4.2.3 ThinkingCap(BottleCap AI):压缩最狠

谁:BottleCap AI,作者里有 word2vec 的作者 Tomas Mikolov。

方法:模型卡没有公开训练方法和数据【官方】。

作者自报(这是几个变体里评测披露最规范的):

  • 宏平均分 86.6 → 85.8,降 0.8 分。按给出的平均思考长度 15,735 → 12,144 直接算,少 3,591 token,约 22.8%(以 15,735 为分母)。
  • 单项:AIME 2026 98.13 → 94.27(降最多),GPQA 89.93 → 88.04,LiveCodeBench 91.14 → 91.21(持平);
  • 评测规范:AIME 用 32 个随机种子取平均,给出 95% 置信区间,报告截断率(0.51% → 0.34%)和循环率。

本机实测:MMLU-Pro CoT 只用原版 41% 的 token(572 对 1410),分数 85.1 对 82.7,配对差异不显著;截断从 13 题降到 4 题。按上表显示精度,HumanEval 95.7 对 97.6、GSM8K 97.0 对 98.5,这两项也未检出显著差异。开思考时端到端响应时间约为原版的 45–75%。

许可:当时卡片标为 PolyForm Small Business 1.0.0,并设下载条款;能下载不等于组织或用途满足该版本的许可条件。

4.2.4 Signal(AgentionAI):只改了输出头

方法【官方】:自蒸馏。让基座在“请直接回答、不要废话”的指令下生成回答,再训练成没有指令也这样回答。卡片称没有用外部数据,也没有用其他模型的输出。

最特别的是:只有 lm_head.weight(输出头)和基座不同,其他所有张量(包括 MTP 头、视觉塔、分词器、模板)逐字节一致。

【推断】为什么只改输出头也能改变风格?输出头决定每个隐状态映射到哪个 token 的概率。微调输出头相当于给某些 token(比如开场白“好的,我来……”、markdown 标题符号 #)系统性地降权,模型的“内容”没变,“措辞习惯”变了。

作者自报:通用回答的中位长度 243 → 104 token(−57%);开场白 13% → 0%;markdown 标题 47% → 18%。但测试只有 40–60 题,差异不能作为显著性结论;没有测 IFEval。JSON 输出时 MTP 接受率 72% → 94%(4.4 节解释)。

本机实测:IFEval −11 分,p = 0.003,显著退步。100 题里 10 题思考写满 8192 token 或没给出正文(原版是 4 题);只看正常作答的 90 题也低 4.4 分。【推断】IFEval 的约束很多是格式要求(“用三个 markdown 标题”“至少 300 字”),而 Signal 恰恰被训练成“少用 markdown、更短”,和这些约束直接冲突。这是“只优化一个目标会伤害别的能力”的典型例子。

社区还提到:开 MTP 时要加 --no-spec-draft-backend-sampling,否则采样时可能复读【社区,未在模型卡里找到】。

4.2.5 AREX-2(智源 BAAI):为智能体多轮迭代训练

目的:长程智能体任务里,让模型在多轮中“提出方案 → 测量结果(分数、日志、报错、耗时)→ 反思 → 修改”,把额外的轮次变成真正的改进【官方,arXiv 2609.38288】。

方法:在有可验证反馈的机器学习工程和算法编程任务上训练,合成长的改进轨迹。具体算法(SFT 还是 RL)和数据规模卡片没说。它的目标和 Swift、ThinkingCap 相反:鼓励多想多试,而不是省 token。

作者自报:GAIA 92.2、BrowseComp 84.0、HLE 52.6 等智能体基准。

本机实测:MMLU-Pro 直答(不开思考)−8.9 分,p < 0.001。其中 54 题(7.7%)第一个 token 就结束、什么都不输出,13 题不按要求只给字母;但只看正常作答的 633 题也低 5.7 分。开思考时 GSM8K 持平且 token 少 36%。

【推断】这符合“灾难性遗忘”的模式:训练数据全是开思考的多轮智能体轨迹,“不开思考、直接答一个字母”这条路径完全没被训练过,甚至被间接破坏了。单轮问答测不出它的强项,但能测出它的短板。

4.2.6 Merkyor Coder390(HF 账号 nerkyor):多教师 + 多轮 RLOO

训练链【作者自报】:

原版 Qwen3.8-27B
 → EfficientThink(SFT + SimPO,缩短思考)
 → 续训 SFT → 第二周 SFT
 → 第一轮 RLOO(182 组)
 → 再 SFT
 → 第二轮 RLOO(172 组)
 → Coder390
  • 教师:Opus 5.5、GPT-6 Astra 写标准答案和教师轨迹;DeepSeek-V4-Pro、K3 也提供轨迹。所以这是合成数据 SFT,不是概率分布蒸馏。
  • RLOO:每题采样 8 条,只保留有对有错的组;最终 1,376 条轨迹;奖励只惩罚错误答案,长而正确的推理仍然得正分。
  • 名字里的“390”:作者自称 GPQA、MMLU、LCB 都到 90。

作者自报:100 题 LiveCodeBench,原版 83 → 90~94(看精度档)。但原版有 13 题因为思考超过 94K token 被截断、没给出代码,Coder390 降到 2–4 题。【推断】相当一部分提升来自“不再超长思考被截断”,而不是写代码能力本身变强。按这里列出的端点,100 题净增 7–11 题。判断显著性还需要知道两种配置各在哪些题上胜出(第 7 章)。

本机实测:思考确实短了 12–24%,但 HumanEval 反而低 2.4(不显著),R9700 上解码慢约 10%(57.6 对 63.4,4.4 节解释)。作者主打的 LCB 这套题没测。没理由换。

风险:用闭源模型的输出训练,可能违反那些模型的服务条款,卡片没讨论;模型名里带 “Uncensored”。

4.2.7 Qwen-Sharp:只是一个模板

不是微调,权重不变。基于 froggeric 修复版模板,加了一段默认开启的“简洁”系统提示(不要开场白、不要复述问题、保留限定条件和不确定性)【官方】。

社区反证:有用户用 club-3090 的基准测试,Sharp 在各思考档位上都不比原版好【社区,单人测试】。作者自报的 SWE-bench-Live 15/25 对 16/25,差 1 题,是“无差异”的典型。

教学意义:改模板就能改输出长度和风格,所以看到“微调后 token 少了 X%”时,要想一想是不是用了不同的模板或系统提示。

4.2.8 JEV-27B 和 h2o-lightning-4b:训练目标是“校准的概率”

这两个在第 2 章 2.6 节讲过结构,这里只讲训练。

  • JEV-27B:损失 = KL(教师分布 ‖ 学生分布)+ 0.5 × RPS。RPS(ranked probability score)是给有序打分的损失,把 4 分错判成 5 分比判成 0 分罚得轻。训练后用校准集拟合温度,自报 ECE 0.0009。本系列对样本行数的记录口径不一,未据此比较训练规模。30% 的选择题随机打乱选项顺序,减少对选项位置的依赖(作者说仍有约 7% 答案会因顺序变化)。
  • h2o-lightning-4b:三阶段训练(广泛 → 长文档与数字 → 客服、安全、编码),“校准是一等目标”。

ECE(expected calibration error,期望校准误差):把预测按置信度分桶,看每桶里“说 80% 把握的,是不是真对了 80%”。BERT 时代的分类器经常过度自信,这类决策模型专门优化它。

这类模型的评估指标是 KL、ECE、AUROC,而不是 pass@1。


4.3 为什么“省 token”的微调很少“更聪明”,有时还更差

4.3.1 两种相反的力量

压缩思考长度的方法(Swift、ThinkingCap、EfficientThink)面对一个基本矛盾:

  • 好处:简单题上,模型原来会写很多重复的检查,删掉不影响答案;超长思考被截断的题,变短后反而能答出来(Coder390、ThinkingCap 的截断都减少了);
  • 坏处:真正的难题需要长推理。AIME、HMMT 这类竞赛数学,Swift 和 ThinkingCap 都是降得最多的(−2.7 到 −3.9 分)。

净效果在多数基准上接近 0,这和本机实测一致。

4.3.2 遗忘和对齐税

  • 灾难性遗忘:在窄分布上继续训练(只有长推理、只有代码、只有一种风格),会覆盖掉没被训练数据覆盖的能力。AREX-2 的“不开思考直答”就是例子。
  • 对齐税(alignment tax,出自 InstructGPT 论文):优化某个目标会拉低其他基准。Signal 优化“简洁”,IFEval 的格式约束就受损。
  • 非思考模式最脆弱:几乎所有思考压缩的训练数据都是开思考的轨迹,关思考的路径没人管。Swift 和 ThinkingCap 的卡片都没有系统评测非思考模式。

4.3.3 官方后训练已经很强了

Qwen 团队的后训练用了大规模 RL、多领域数据、专门的评测体系。社区微调通常只有几千到几十万条数据、一个优化目标。在官方已经调好的平衡点上,再往一个方向推,很难全面变好。这也是为什么 Flash-Next(Qwen 官方的新架构)比所有社区变体都更值得关注。


4.4 微调和量化为什么会影响推测解码的速度

推测解码(第 6 章)用 MTP 头当草稿:先猜 3 个 token,主模型一次验证,猜对几个就多出几个。猜对的比例(接受率)直接决定速度。

MTP 头是和原版主干一起训练的:它学会了“看原版的隐状态,预测原版接下来会说什么”。

主干被微调后【推断】:

  • 隐状态和输出分布都漂移了,旧的 MTP 头预测的是“原版会说什么”,和新模型实际要说的不一致,接受率下降;
  • 严格拒绝采样保目标分布,不保两次随机抽样逐字相同。贪心验证要求目标选择一致,数值实现也可能影响接近并列的 token;
  • 如果微调让输出更有规律(更短、更结构化),接受率反而可能上升。Signal 在 JSON 输出上 72% → 94% 就是例子【作者自报】。

本机数据:4 个 Q6_K 变体沿用原版 MTP 头,接受率 0.63–0.66,和原版基本一样。Coder390 解码慢 10% 的原因,【推断】除了接受率略低,更可能是它的 GGUF 量化配方和 Unsloth 的 UD-Q6_K 不同(比如某些张量用了更高位数,文件更大)。

量化 MTP 头也会掉接受率:社区报告把 MTP 头换成更重的量化后,接受率从 48% 降到 33%;MTP 张量丢失则接受率为 0【社区】。所以 GSQ-RCO 给 MTP 层保留了 6.56 位(第 3 章 3.5.5 节)。


4.5 怎么读模型卡上的分数

几乎所有变体的分数都是作者自报。几个常见问题:

  1. 样本太小。AIME 一年 30 题,1 题 = 3.3 分;GPQA-Diamond 198 题,1 题 ≈ 0.5 分。100 题的基准上差 2–4 题几乎肯定是噪声(第 7 章算给你看)。
  2. 单次采样。思考模型推荐温度 1.0,同一题跑两次结果可能不同。ThinkingCap 用 32 个种子是正确示范;Swift 的量化结果“单种子、30 题 AIME”,作者自己也说不能证明持平。
  3. 挑有利的口径。Swift 的 58.5% 是中位数而不是均值;Merkyor 的 83 → 91 是某一个精度档,其他档 88~94。
  4. 同名基准不同设置。同一个 LiveCodeBench v6,原版在 Swift 卡里是 76.76,在 ThinkingCap 卡里是 91.14。token 上限(94K 还是 253K)、截断记错还是记空、用的是哪个子集,都会让数字差很多。不同模型卡之间的数字不能直接比。
  5. 污染。训练数据里如果有评测题或它的改写,分数会虚高。用闭源教师生成“题目 + 答案”时尤其难排除。LiveCodeBench 按题目发布日期划窗口来缓解;h2o 的卡片明确声称做了去重。
  6. 评测框架不同。直答还是 CoT(MMLU-Pro 两种方式差 15–20 分)、几次采样、什么温度。

本机的做法:同一套题、同一批题号、同一个引擎和参数,逐题配对做 McNemar 检验。这是判断“到底有没有差别”最省题目的办法(第 7 章)。


本章小结

变体方法目的本机结论
Swift-1.5惩罚过度思考 token + RL + 在线蒸馏缩短思考配对五项未检出分差,开思考时 token 少 16–29%
ThinkingCap训练方法未公开缩短思考同一上限下 CoT 用 41% 的 token,这一配对题集未检出分差
Coder390多教师合成数据 SFT + SimPO + 两轮 RLOO编程 + 短思考思考短了,但解码慢 10%,HumanEval 没涨
Signal只改输出头的自蒸馏回答更直接IFEval 显著 −11,不建议
AREX-2智能体多轮迭代训练长程智能体不开思考直答显著 −8.9,单轮测不出强项
Qwen-Sharp只是模板简洁社区测试不比原版好
JEV-27BLoRA + 决策头,分布蒸馏校准的决策概率另一类任务,见第 2 章

参考资料(本章)

系统教材

  • Nathan Lambert,RLHF Book:https://rlhfbook.com —— 从 SFT 到 RLHF、DPO、RLVR 的系统讲解,最推荐

论文

  • InstructGPT(RLHF + PPO,对齐税):https://arxiv.org/abs/2203.02155
  • DPO:https://arxiv.org/abs/2305.18290
  • SimPO:https://arxiv.org/abs/2405.14734
  • RLOO(Back to Basics):https://arxiv.org/abs/2402.14740
  • GRPO(DeepSeekMath):https://arxiv.org/abs/2402.03300
  • DeepSeek-R1:https://arxiv.org/abs/2501.12948
  • Tulu 3(完整开放的后训练配方,RLVR 命名):https://arxiv.org/abs/2411.15124
  • 知识蒸馏(Hinton):https://arxiv.org/abs/1503.02531
  • LoRA:https://arxiv.org/abs/2106.09685 ;QLoRA:https://arxiv.org/abs/2305.14314
  • Do NOT Think That Much for 2+3=?(过度思考):https://arxiv.org/abs/2412.21187
  • s1(预算强制):https://arxiv.org/abs/2501.19393
  • Kimi k1.5(long2short):https://arxiv.org/abs/2501.12599
  • 拒答由单一方向控制(abliteration):https://arxiv.org/abs/2406.11717
  • 模型合并综述:https://arxiv.org/abs/2408.07666
  • 推测解码(Leviathan 等):https://arxiv.org/abs/2211.17192
  • LiveCodeBench(抗污染):https://arxiv.org/abs/2403.07974

模型卡

  • Swift-1.5:https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B
  • ThinkingCap:https://huggingface.co/bottlecapai/ThinkingCap-Qwen3.8-27B
  • Signal:https://huggingface.co/agentionai/Signal-3.8-27B
  • AREX-2:https://huggingface.co/BAAI/AREX-2
  • Coder390:https://huggingface.co/nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2
  • Qwen-Sharp 模板:https://huggingface.co/peculiar-ragdoll/Qwen-Sharp-Chat-Templates
  • JetBrains blend:https://huggingface.co/JetBrains/Qwen3.8-3.6-27B-blend

(未经 arXiv API 逐个核对、凭记忆的编号:2203.02155、2305.18290、2402.03300、2501.12948、1503.02531、2106.09685、2305.14314、2211.17192。)

本文写作中使用了 AI 辅助。文字采用 CC BY-NC-SA 4.0 许可。

最后更新于