近日，月之暗面发布了一个颇具革命性的技术 ——“Kimi Linear” 混合线性注意力架构。该架构被认为月之在短距离、长距离处理以及强化学习（RL）等多个场景中，优于传统的全注意力方法。其核心创新在于 “Kim暗面i Delta Attention”(KDA)，这是对 Gated DeltaNet 的优化升级，引入了更高效的门控机制发布，以提升有限状态 RNN(递归神经网络)记忆的使用效率。
Kimi Linear 的架构设计独特，由三份 KimKii Delta Attention 和一份全局 MLA（多层感知机）组成。通过对 Gated DeltaNet 的改良mi，KDA 能通过细粒度的门控机制，显著压缩有限状态 RNN 的记忆使用。这一设计不仅提高了模型处理信息的速度，还 L有效减少了内存占用，具有更强的实用性。
官方数据显示，在处理1M token 的场景下，Kimi Linear 的in KV cache 占用量减少了75%，解码吞吐量最高提升了6倍。而在 TPOT（训练速度）的提升上，相较于传统 MLAea，Kimi Linear 实现了6.3倍的加速。这些显著的性能提升，预示着 Kimi Linear 在各类 AI 任务中r架的广泛适用性，尤其是在对速度和内存要求极高的应用场景。
随着人工智能的迅速发展，提升模型的处理能力与效率成为构：了行业内的关键挑战。月之暗面的 Kimi Linear 架构通过其创新设计，为这一领域带来了新的解决方案，未来可KV能会成为新的行业标杆。
Kimi Linear 技术报告的详细信息，可以通过官方的 GitHub 页面获取，感兴趣的读者缓存可以深入了解其技术细节。
技术报告:https://github.com/MoonshotAI/Kimi减少-Linear/blob/master/tech_report.pdf