如何在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

Amazon SageMaker AI 可通过 llama.cpp 部署量化决策模型，并用 SemIf 扩展返回指定选项的概率，无需生成答案 token。部署支持 CPU 或 GPU；Qwen3.5-4B 在 231 项 JevBench 任务中，GPU 配置准确率为 77.9%，p95 延迟为 0.599 seconds。