英伟达通过AI提升Kimi K3推理性能，改变代码审查方式

在2026年10月16日，英伟达的vLLM官方博客发布了一篇技术总结，介绍了一项重要成果：工程师Benjamin Chislett利用1.2万行CuTe DSL编写的Megakernel显著提升了Kimi K3的推理速度，使其在支持的硬件上达到了423 tok/s/user的性能，比之前快了1.68倍。这种提升并未依赖于新的硬件或芯片，而是通过优化编码实现的。然而，最值得关注的是，博客中提到“智能体优化的推理代码，正在超过人类团队的审查和维护速度”，这意味着AI生成的代码让人类无法快速审查。

Kimi K3作为一个复杂的模型，采用了Stable LatentMoE架构，具有896个专家，但在推理时面临巨大的带宽需求和复杂的通信开销。传统的解码过程需要多个独立内核进行操作，而Megakernel的关键在于将这些内核融合为一个超级内核，从而降低开销并提升效率，实现了专用硬件和模型的理想配合。

在这个编写过程中，AI辅助开发承担了复杂GPU内核编写和性能调优等任务。尽管Benjamin Chislett是项目的主导，但AI的介入让人类逐行审查工作难以跟上。为了解决这一问题，vLLM团队推出了快速模型优化RFC，改变了性能审查的原有方式，允许人类审查者从高层抽象入手，而不是一行行地检查代码。 南宫娱乐

这种变化标志着人类角色的转变，从直接的代码编写者变为流程管理者与风险评估者。AI逐渐接管了代码编写的重任，而人类则负责整体的设计与验证流程，这一现象反映了当前技术进步的现状。