AI 为什么这么贵?钱究竟烧在了哪里?
AI
AI 为什么这么贵?钱究竟烧在了哪里?
AI

本利行间 by Tingting & Josefina

Episode notes

大模型推理的账单,不只是“每个 token 多少钱”。参数要被搬运,计算要在 GPU 上执行,对话越长,KV cache 占用的显存越多;同时还要为并发、延迟目标和空闲容量付费。

这一期从参数、GPU、内存带宽讲到 KV cache 与长上下文,把“AI 为什么贵”还原成一张由计算、内存、并发和服务质量共同决定的账单。

时间戳:

- 00:00 开场:AI 的钱烧在哪里

- 01:19 参数不是知识卡片

- 02:53 为什么偏偏是 GPU

- 04:20 厨师算得快,资料也得送得上

- 05:55 固定行李之外,还有越聊越大的随身包

- 07:20 为什么长上下文不是免费午餐

- 08:24 AI 成本不是单价乘 token 那么简单

本节目只做阅读、思考和教育分享,不构成投资、医疗或其他专业建议。