EdgeGizmo
全部 AI 动态
Simon Willison · 2026/10/9 · 产品

ttok 1.0 发布,默认分词器改为 GPT-5/GPT-6

Simon Willison 发布 ttok 1.0,将默认分词器从 GPT-4 改为 GPT-5/GPT-6。OpenAI 尚未确认 GPT-6 与 GPT-5 家族使用相同分词器,但一项实验中,7 个 GPT 模型均报告 44,794 tokens,且在全部 31 个测试样例上结果一致。