MIT Technology Review · AI· Tim Rausch·· 3 小时前AI 评分23
AI 推理的隐性存储成本:模型响应后留下的数据账单
AI’s hidden storage bill: What inference leaves behind
AI 导读
AI 推理产生的提示词、图像、视频及日志会持续累积,使存储成为常被低估的基础设施成本。WD 测得 8 秒 720p 视频输出为 3.97MB,却在后端留下超过 500MB 数据;96% 的受访者预计需要更快的归档检索以支持推理或 RAG。
来源:MIT Technology Review · AI · technologyreview.com