Simon Willison·· 16 小时前AI 评分12
ttok 1.0 发布,默认 tokenizer 切换至 GPT-5/GPT-6
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认 tokenizer 由 GPT-4 切换至 GPT-5/GPT-6。他引用 William Liu 的实验,确认 GPT-5.5、5.6 Sol/Terra/Luna 与 GPT-6 Astra/Sol/Luna 共 7 个模型在 31 个测试样本上均输出 44,794 tokens,tokenizer 彼此一致。
来源:Simon Willison · simonwillison.net