IA
AI 为什么这么贵?钱究竟烧在了哪里?
IA
本利行间 por Tingting & Josefina
Notas del episodio
大模型推理的账单,不只是“每个 token 多少钱”。参数要被搬运,计算要在 GPU 上执行,对话越长,KV cache 占用的显存越多;同时还要为并发、延迟目标和空闲容量付费。
这一期从参数、GPU、内存带宽讲到 KV cache 与长上下文,把“AI 为什么贵”还原成一张由计算、内存、并发和服务质量共同决定的账单。
时间戳:
- 00:00 开场:AI 的钱烧在哪里
- 01:19 参数不是知识卡片
- 02:53 为什么偏偏是 GPU
- 04:20 厨师算得快,资料也得送得上
- 05:55 固定行李之外,还有越聊越大的随身包
- 07:20 为什么长上下文不是免费午餐
- 08:24 AI 成本不是单价乘 token 那么简单
本节目只做阅读、思考和教育分享,不构成投资、医疗或其他专业建议。