让大模型减肥:量化、蒸馏与微调不是一回事
IA
让大模型减肥:量化、蒸馏与微调不是一回事
IA

本利行间 di Tingting & Josefina

Note sull'episodio

量化、蒸馏和微调经常被塞进同一个“模型优化”抽屉,但它们动的根本不是同一件东西:量化改变数字的表示方式,蒸馏训练一个更小的学生模型,微调则改变模型在特定任务上的行为。

这一期把三者逐一拆开,解释它们怎样组合、为什么不能互相替代,以及为什么模型质量从来不是一个总分。

时间戳:

- 00:00 开场:三种“减肥法”动的不是同一层

- 01:24 量化改变数字怎样被表示

- 03:45 蒸馏是训练另一个模型

- 05:54 微调改变模型的稳定行为

- 07:43 三种技术可以叠加,但不能互相代替

- 09:21 模型质量不是一个总分

本节目只做阅读、思考和教育分享,不构成投资、医疗或其他专业建议。