Amazon SageMaker AI 上的混合专家内核工程

【AI 翻译 · 未评分】AWS 工程师分享了在 Amazon SageMaker AI 上针对融合混合专家（MoE）模型的内核优化：用于 WGMMA 利用率的 Swap-AB、用于 FP8 量化的 Triton 后端路由，以及消除 Triton JIT 重编译。这些优化在 H200 GPU 上实现了高达10%的吞吐量提升和高达9%的首个 token 时间加速。