跳到正文
原文
MIT Technology Review · AI· Tim Rausch·· 3 小时前AI 评分23

AI 推理的隐性存储成本:模型响应后留下的数据账单

AI’s hidden storage bill: What inference leaves behind

AI 导读

AI 推理产生的提示词、图像、视频及日志会持续累积,使存储成为常被低估的基础设施成本。WD 测得 8 秒 720p 视频输出为 3.97MB,却在后端留下超过 500MB 数据;96% 的受访者预计需要更快的归档检索以支持推理或 RAG。

来源:MIT Technology Review · AI · technologyreview.com