https://www.yiliao.com/index.php?action=history&feed=atom&title=%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F
知识蒸馏 - 版本历史
2026-04-18T17:29:41Z
本wiki的该页面的版本历史
MediaWiki 1.35.1
https://www.yiliao.com/index.php?title=%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F&diff=312645&oldid=prev
77921020：建立内容为“<div style="padding: 0 4%; line-height: 1.8; color: #1e293b; font-family: 'Helvetica Neue', Helvetica, 'PingFang SC', Arial, sans-serif; background-color: #ffffff…”的新页面
2026-01-04T01:26:16Z
<p>建立内容为“<div style="padding: 0 4%; line-height: 1.8; color: #1e293b; font-family: 'Helvetica Neue', Helvetica, 'PingFang SC', Arial, sans-serif; background-color: #ffffff…”的新页面</p>
<p><b>新页面</b></p><div><div style="padding: 0 4%; line-height: 1.8; color: #1e293b; font-family: 'Helvetica Neue', Helvetica, 'PingFang SC', Arial, sans-serif; background-color: #ffffff; max-width: 1200px; margin: auto;"><br />
<br />
<div style="margin-bottom: 30px; border-bottom: 1.2px solid #e2e8f0; padding-bottom: 25px;"><br />
<p style="font-size: 1.1em; margin: 10px 0; color: #334155; text-align: justify;"><br />
<strong>Knowledge Distillation</strong>（<strong>知识蒸馏</strong>，简称 <strong>KD</strong>）是一种模型压缩技术，其核心思想是让一个轻量级的“学生模型”（Student Model）模仿一个庞大且复杂的“教师模型”（Teacher Model）的行为。如果说预训练大模型是“读万卷书”，那么知识蒸馏就是“名师带徒弟”。在医疗 AI 领域，KD 是解决<strong>[[大模型落地难]]</strong>（推理慢、算力贵、隐私无法出院）的关键技术。通过蒸馏，我们可以将千亿参数的通用大模型（如 GPT-4）中的医学知识，转移到一个几十亿参数的小模型（如 Llama-7B）中，使其在特定医疗任务上达到接近老师的水平，但运行速度快几十倍。<br />
</p><br />
</div><br />
<br />
<div class="medical-infobox mw-collapsible mw-collapsed" style="width: 100%; max-width: 320px; margin: 0 auto 35px auto; border: 1.2px solid #bae6fd; border-radius: 12px; background-color: #ffffff; box-shadow: 0 8px 20px rgba(0,0,0,0.05); overflow: hidden;"><br />
<br />
<div style="padding: 15px; color: #1e40af; background: linear-gradient(135deg, #e0f2fe 0%, #bae6fd 100%); text-align: center; cursor: pointer;"><br />
<div style="font-size: 1.2em; font-weight: bold; letter-spacing: 1.2px;">Knowledge Distillation</div><br />
<div style="font-size: 0.7em; opacity: 0.85; margin-top: 4px; white-space: nowrap;">(点击展开)</div><br />
</div><br />
<br />
<div class="mw-collapsible-content"><br />
<div style="padding: 25px; text-align: center; background-color: #f8fafc;"><br />
<div style="display: inline-block; background: #ffffff; border: 1px solid #e2e8f0; border-radius: 12px; padding: 20px; box-shadow: 0 4px 10px rgba(0,0,0,0.04);"><br />
[[Image:Knowledge_Distillation_Icon.png|100px|师徒传承]]<br />
</div><br />
<div style="font-size: 0.8em; color: #64748b; margin-top: 12px; font-weight: 600;">大模型的瘦身秘籍</div><br />
</div><br />
<br />
<table style="width: 100%; border-spacing: 0; border-collapse: collapse; font-size: 0.85em;"><br />
<tr><br />
<th style="text-align: left; padding: 6px 12px; background-color: #f1f5f9; color: #475569; border-bottom: 1px solid #e2e8f0; width: 40%;">提出者</th><br />
<td style="padding: 6px 12px; border-bottom: 1px solid #e2e8f0; color: #0f172a;">Geoffrey Hinton (2015)</td><br />
</tr><br />
<tr><br />
<th style="text-align: left; padding: 6px 12px; background-color: #f1f5f9; color: #475569; border-bottom: 1px solid #e2e8f0;">核心角色</th><br />
<td style="padding: 6px 12px; border-bottom: 1px solid #e2e8f0; color: #1e40af;">Teacher (大/强), Student (小/快)</td><br />
</tr><br />
<tr><br />
<th style="text-align: left; padding: 6px 12px; background-color: #f1f5f9; color: #475569; border-bottom: 1px solid #e2e8f0;">传递介质</th><br />
<td style="padding: 6px 12px; border-bottom: 1px solid #e2e8f0; color: #0f172a;">软标签 (Soft Targets)</td><br />
</tr><br />
<tr><br />
<th style="text-align: left; padding: 6px 12px; background-color: #f1f5f9; color: #475569; border-bottom: 1px solid #e2e8f0;">关键参数</th><br />
<td style="padding: 6px 12px; border-bottom: 1px solid #e2e8f0; color: #0f172a;">温度 (Temperature, T)</td><br />
</tr><br />
<tr><br />
<th style="text-align: left; padding: 6px 12px; background-color: #f1f5f9; color: #475569; border-bottom: 1px solid #e2e8f0;">主要目标</th><br />
<td style="padding: 6px 12px; border-bottom: 1px solid #e2e8f0; color: #0f172a;">模型压缩, 加速推理</td><br />
</tr><br />
<tr><br />
<th style="text-align: left; padding: 6px 12px; background-color: #f1f5f9; color: #475569;">核心标签</th><br />
<td style="padding: 6px 12px; color: #1e40af;">[[Dark Knowledge]], [[端侧AI]]</td><br />
</tr><br />
</table><br />
</div><br />
</div><br />
<br />
<h2 style="background: #f1f5f9; color: #0f172a; padding: 10px 18px; border-radius: 0 6px 6px 0; font-size: 1.25em; margin-top: 40px; border-left: 6px solid #0f172a; font-weight: bold;">核心原理：Dark Knowledge (暗知识)</h2><br />
<br />
<p style="margin: 15px 0; text-align: justify;"><br />
为什么小模型通过“蒸馏”能学得比单纯看标准答案（Hard Label）更好？<br />
<br>因为教师模型不仅告诉学生“这是什么”，还暗示了“它像什么”。<br />
</p><br />
[[Image:Knowledge Distillation Teacher Student architecture]]<br />
<br />
<div style="margin-bottom: 25px; border: 1px solid #e2e8f0; border-radius: 8px; padding: 20px; background-color: #ffffff;"><br />
<h3 style="margin-top: 0; color: #1e40af; font-size: 1.1em; border-bottom: 1px solid #e2e8f0; padding-bottom: 10px;">案例：肺癌诊断</h3><br />
<p style="text-align: justify; color: #334155;"><br />
假设有一张肺部 X 光片。<br />
<br>• <strong>标准答案 (Hard Label)：</strong> [肺癌: 1, 肺炎: 0, 正常: 0]。这只告诉小模型“这是肺癌”。<br />
<br>• <strong>教师模型输出 (Soft Targets)：</strong> [肺癌: 0.7, 肺炎: 0.2, 正常: 0.1]。<br />
<br><strong>蒸馏的价值：</strong> 教师模型透露了“暗知识”——这张片子虽然是肺癌，但它长得有点像肺炎（概率0.2），完全不像正常肺（概率0.1）。这种<strong>类别间的关系</strong>（Inter-class Similarity）是单纯的数据标签不具备的，学生学了这个能更好地举一反三。<br />
</p><br />
</div><br />
<br />
<h2 style="background: #f1f5f9; color: #0f172a; padding: 10px 18px; border-radius: 0 6px 6px 0; font-size: 1.25em; margin-top: 40px; border-left: 6px solid #0f172a; font-weight: bold;">在医疗 AI 中的商业价值</h2><br />
<br />
<p style="margin: 15px 0; text-align: justify;"><br />
对于“智慧医生”项目，知识蒸馏是实现<strong>[[私有化部署]]</strong>的核心技术栈。<br />
</p><br />
<br />
<div style="overflow-x: auto; margin: 30px auto; max-width: 100%;"><br />
<table style="width: 100%; border-collapse: collapse; border: 1.2px solid #cbd5e1; font-size: 0.9em; text-align: left;"><br />
<tr style="background-color: #f1f5f9; border-bottom: 2px solid #0f172a;"><br />
<th style="padding: 12px; border: 1px solid #cbd5e1; color: #0f172a; width: 25%;">痛点</th><br />
<th style="padding: 12px; border: 1px solid #cbd5e1; color: #475569;">不使用蒸馏 (直接用大模型)</th><br />
<th style="padding: 12px; border: 1px solid #cbd5e1; color: #1e40af;">使用蒸馏 (Teacher → Student)</th><br />
</tr><br />
<tr><br />
<td style="padding: 10px; border: 1px solid #cbd5e1; font-weight: 600; background-color: #ffffff;">部署环境</td><br />
<td style="padding: 8px; border: 1px solid #cbd5e1;">需要昂贵的 A100 GPU 集群，必须联网调用云端 API。</td><br />
<td style="padding: 8px; border: 1px solid #cbd5e1;">可以部署在医院的普通服务器，甚至医生的<strong>[[边缘设备]]</strong>（如高性能 PC）上。</td><br />
</tr><br />
<tr><br />
<td style="padding: 10px; border: 1px solid #cbd5e1; font-weight: 600; background-color: #f8fafc;">数据隐私</td><br />
<td style="padding: 8px; border: 1px solid #cbd5e1;">患者数据必须上传云端，面临<strong>[[HIPAA]]</strong>合规风险。</td><br />
<td style="padding: 8px; border: 1px solid #cbd5e1;"><strong>数据不出院</strong>。模型在本地运行，完全隐私安全。</td><br />
</tr><br />
<tr><br />
<td style="padding: 10px; border: 1px solid #cbd5e1; font-weight: 600; background-color: #ffffff;">响应速度</td><br />
<td style="padding: 8px; border: 1px solid #cbd5e1;">高延迟（网络+推理），不适合急诊 CDSS。</td><br />
<td style="padding: 8px; border: 1px solid #cbd5e1;"><strong>毫秒级响应</strong>，实时辅助医生决策。</td><br />
</tr><br />
</table><br />
</div><br />
<br />
<h2 style="background: #f1f5f9; color: #0f172a; padding: 10px 18px; border-radius: 0 6px 6px 0; font-size: 1.25em; margin-top: 40px; border-left: 6px solid #0f172a; font-weight: bold;">技术前沿：黑盒蒸馏 (Black-box Distillation)</h2><br />
<br />
<div style="margin-bottom: 25px; border: 1px solid #e2e8f0; border-radius: 8px; padding: 20px; background-color: #ffffff;"><br />
<h3 style="margin-top: 0; color: #1e40af; font-size: 1.1em; border-bottom: 1px solid #e2e8f0; padding-bottom: 10px;">LLM as a Teacher</h3><br />
<p style="text-align: justify; color: #334155;"><br />
传统的 KD 需要访问教师模型的内部参数（Logits），但像 GPT-4 这样的闭源模型是不公开参数的。<br />
<br>现在的趋势是<strong>[[指令微调蒸馏]]</strong>：我们把 GPT-4 当作老师，让它生成高质量的“病例-诊断”对话数据（合成数据），然后用这些数据去训练一个开源的小模型（如 Llama 3 8B）。<br />
<br><strong>结果：</strong> 小模型“死记硬背”了 GPT-4 的推理逻辑（Chain-of-Thought），从而获得了类似的医疗推理能力。<br />
</p><br />
</div><br />
<br />
<div style="font-size: 0.92em; line-height: 1.6; color: #1e293b; margin-top: 50px; border-top: 2px solid #0f172a; padding: 15px 25px; background-color: #f8fafc; border-radius: 0 0 10px 10px;"><br />
<span style="color: #0f172a; font-weight: bold; font-size: 1.05em; display: inline-block; margin-bottom: 15px;">关键参考文献</span><br />
<br />
<p style="margin: 12px 0; border-bottom: 1px solid #e2e8f0; padding-bottom: 10px;"><br />
[1] <strong>Hinton G, et al. (2015).</strong> <em>Distilling the Knowledge in a Neural Network.</em><br><br />
<span style="color: #475569;">[开山之作]：Geoffrey Hinton 提出了“Dark Knowledge”的概念，奠定了现代知识蒸馏的理论基础。</span><br />
</p><br />
<br />
<p style="margin: 12px 0; border-bottom: 1px solid #e2e8f0; padding-bottom: 10px;"><br />
[2] <strong>Gou J, et al. (2021).</strong> <em>Knowledge Distillation: A Survey.</em><br><br />
<span style="color: #475569;">[综述]：全面总结了 KD 的各种变体（基于响应、基于特征、基于关系），是技术选型的必备参考。</span><br />
</p><br />
</div><br />
<br />
<div style="margin: 40px 0; border: 1px solid #e2e8f0; border-radius: 8px; overflow: hidden; font-family: 'Helvetica Neue', Arial, sans-serif; font-size: 0.9em;"><br />
<div style="background-color: #eff6ff; color: #1e40af; padding: 8px 15px; font-weight: bold; text-align: center; border-bottom: 1px solid #dbeafe;"><br />
知识蒸馏 · 知识图谱<br />
</div><br />
<table style="width: 100%; border-collapse: collapse; background-color: #ffffff;"><br />
<tr style="border-bottom: 1px solid #f1f5f9;"><br />
<td style="width: 85px; background-color: #f8fafc; color: #334155; font-weight: 600; padding: 10px 12px; text-align: right; vertical-align: middle; white-space: nowrap;">上级概念</td><br />
<td style="padding: 10px 15px; color: #334155;">[[模型压缩]] (Model Compression) • [[迁移学习]]</td><br />
</tr><br />
<tr style="border-bottom: 1px solid #f1f5f9;"><br />
<td style="width: 85px; background-color: #f8fafc; color: #334155; font-weight: 600; padding: 10px 12px; text-align: right; vertical-align: middle; white-space: nowrap;">核心变体</td><br />
<td style="padding: 10px 15px; color: #334155;">[[Response-based KD]] • [[Feature-based KD]] • [[Self-Distillation]]</td><br />
</tr><br />
<tr style="border-bottom: 1px solid #f1f5f9;"><br />
<td style="width: 85px; background-color: #f8fafc; color: #334155; font-weight: 600; padding: 10px 12px; text-align: right; vertical-align: middle; white-space: nowrap;">医学应用</td><br />
<td style="padding: 10px 15px; color: #334155;">[[医疗大模型私有化]] • [[移动端影像诊断]] • [[联邦学习蒸馏]]</td><br />
</tr><br />
<tr><br />
<td style="width: 85px; background-color: #f8fafc; color: #334155; font-weight: 600; padding: 10px 12px; text-align: right; vertical-align: middle; white-space: nowrap;">相关技术</td><br />
<td style="padding: 10px 15px; color: #334155;">[[模型剪枝]] (Pruning) • [[量化]] (Quantization) • [[合成数据]]</td><br />
</tr><br />
</table><br />
</div><br />
<br />
</div></div>
77921020