IA
让大模型减肥:量化、蒸馏与微调不是一回事
IA
本利行间 di Tingting & Josefina
Note sull'episodio
量化、蒸馏和微调经常被塞进同一个“模型优化”抽屉,但它们动的根本不是同一件东西:量化改变数字的表示方式,蒸馏训练一个更小的学生模型,微调则改变模型在特定任务上的行为。
这一期把三者逐一拆开,解释它们怎样组合、为什么不能互相替代,以及为什么模型质量从来不是一个总分。
时间戳:
- 00:00 开场:三种“减肥法”动的不是同一层
- 01:24 量化改变数字怎样被表示
- 03:45 蒸馏是训练另一个模型
- 05:54 微调改变模型的稳定行为
- 07:43 三种技术可以叠加,但不能互相代替
- 09:21 模型质量不是一个总分
本节目只做阅读、思考和教育分享,不构成投资、医疗或其他专业建议。