我的知识库

SFT, RL, and On-Policy Distillation — 分布视角下的 Post-Training

Properties1
tagsllm, post-training, sft, rl, on-policy-distillation

2分钟阅读

📋 学习资料索引

博客元数据

属性内容
中文标题SFT、RL 与在线蒸馏：分布视角下的 Post-Training
English TitleSFT, RL, and On-Policy Distillation Through a Distributional Lens
作者nrehiew (wh.)
来源nrehiew.github.io
日期2026
类型博客文章 (含原创实验)
核心论点Post-Training 的核心区分因素不是算法类型（RL vs 蒸馏），而是是否使用 on-policy 数据。用分布视角（Forward KL vs Reverse KL）可以统一理解三种方法的遗忘/保持行为。

📁 文件清单

文件名类型说明
[[PARA/02Area/LLM/sft-rl-opd-distributional-lens/sft-rl-opd-summarysft-rl-opd-summary]]📝 完整摘要
[[PARA/02Area/LLM/sft-rl-opd-distributional-lens/method-comparisonmethod-comparison]]📊 方法对比表
[[PARA/02Area/LLM/sft-rl-opd-distributional-lens/workflow-mermaidworkflow-mermaid]]🎨 Mermaid 流程图解
[[PARA/02Area/LLM/sft-rl-opd-distributional-lens/insightsinsights]]💡 关键洞察

🗺️ 推荐学习顺序

(1) summary  →  建立整体认知：三种方法是什么、有何区别
        ↓
(2) method-comparison  →  结构化对比，加深理解
        ↓
(3) workflow-mermaid  →  可视化管线与分布视角，形成直觉
        ↓
(4) insights  →  提炼核心结论，指导实践

🏷️ 关联主题

  • On-Policy Distillation：DeepSeek V4、GLM 5 等前沿模型的最终阶段
  • KL Divergence：Forward KL (mode-covering) vs Reverse KL (mode-seeking)
  • Catastrophic Forgetting：SFT 的主要缺陷，RL/OPD 的有效缓解
  • Rejection Sampling：0/1 奖励下的 RL ≈ 拒绝采样
  • Distributional View of Post-Training：用概率分布变化理解训练方法本质

此文件夹下有4条笔记。