从 CUDA 到 MLX：K-Search 如何将数十年的内核专业知识引入 Apple Silicon

【AI 翻译 · 未评分】图 1：CUDA 到 MLX 优化转换映射。CUDA 优化知识可以转换为架构原生的 MLX 策略，而非逐指令复制。我们正面临计算的新纪元。硬件正在快速变化——不仅是更快的 GPU，还有来自不同供应商的日益增长的芯片范围，每种芯片都有其自身的架构，通常针对特定的 AI 工作负载量身定制。软件也在同样快速地变化，AI 编码工具现在能在几分钟内生成几年前需要数月努力才能完成的内容。随着计算重心转向 AI，GPU 内核成为其成功的关键组件。这些是在 GPU 内部运行的底层程序，编写高效的内核绝非易事——这需要多年的专业知识才能做到。将内核从一个供应商的硬件转移到另一个供应商的硬件更加困难，往往意味着从头重新发现相同的优化。例如，CUDA 生态系统积累了数十年来之不易的内核专业知识：注意力机制、状态空间模型和其他关键操作的手动调优实现，代表了数千个工程小时。较新的硬件生态系统（Apple Silicon、定制 AI 加速器及其他）增长迅速但缺乏这种深度。在这项工作中，我们探讨这种专业知识是否可以自动转移。我们基于 K-Search 构建，这是由 Berkeley Sky Lab 的 Cao 等人引入的一个进化内核搜索框架，使用 AI 来优化 GPU 内核，并为其扩展了 MLX 后端——Apple 为其自有 Apple Silicon 芯片提供的机器学习框架。我们开发了一种新颖的结构化 CUDA 到 MLX 转换层，让 K-Search 能够将现有的 CUDA 内核作为知识库，并将其改编为适用于 Apple Silicon 的高质量 GPU 内核，而不是从头重建。我们展示了我们的方法在 Apple Silicon 上达到了接近专家水平的性能，与原生 MLX Attention 内核相比速度提升为 0.97x，预填充速度最高提升达 20x...