Amazon SageMaker AI 上的 MoE 内核工程优化

Amazon SageMaker AI 上的 MoE 内核优化通过 Swap-AB 提高 H200 利用率，使大型 MoE 模型端到端输出吞吐量提升 2–4%。该优化已合入 vLLM，适用于 0.24.0 及后续版本。性能分析还显示，Hopper 上 FP8 张量量化模型使用 Triton 后端优于默认 FLASHINFER_CUTLASS 路径。