热点事件持续更新
SageMaker AI 上线 llama.cpp 部署路径支持决策模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
此前 Amazon SageMaker AI 已支持调用生成式模型做文本补全，但用于决策场景时需让模型先解码出 answer token，再解析其文本以还原出所选选项。2026 年 10 月 12 日，AWS Machine Learning Blog 的一篇报道介绍了在 Amazon SageMaker AI 上基于 llama.cpp 部署决策模型的两种路径。标准路径沿用 AWS DLC for llama.cpp，通过 InvokeEndpoint 调用生成文本结果，返回包含完整 answer token 文本的补全。扩展路径则在该镜像基础上构建子镜像，接入 SemIf（原 OpenJev），由 SemIf 直接基于模型内部状态给出各候选选项的概率，从而不再依赖解码 answer token 的文本过程，也可与采用 OpenAI 兼容聊天补全接口的客户端配合使用。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- AWS Machine Learning Blog"在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型"
AWS 在 Amazon SageMaker AI 上推出基于 llama.cpp 的部署路径，用于服务决策模型和 OpenAI 兼容的聊天补全。标准路径通过 AWS DLC for llama.cpp 调用 InvokeEndpoint 完成文本生成；扩展路径构建子镜像接入 SemIf（原 OpenJev），直接返回候选选项的概率而无需解码 answer token。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。