跳到正文
原文
OpenAI News·· 10 天前AI 评分9

GPT-6 改进 prompt caching 机制

Better prompt caching for GPT-6

AI 导读

OpenAI 为 GPT-6 推出改进的 prompt caching 机制,通过更高的缓存命中率、新的诊断工具和显式断点控制来降低延迟与成本。开发者可借助这些功能更精细地管理上下文复用,减少重复 token 消耗带来的开销。

来源:OpenAI News · openai.com