2026年Kimi K3技术报告（47页，2026年）

分类：人工智能

标签：大模型、混合专家模型、Kimi、月之暗面、长上下文、强化学习、英文报告

摘要：月之暗面（Moonshot AI）发布Kimi K3技术报告，提出一款面向开放前沿智能的超大规模混合专家模型。Kimi K3总参数量达二点八万亿，激活参数量一千零四十亿，原生支持视觉能力，并具备一百万词元的上下文窗口。模型在Kimi Delta注意力与注意力残差机制的基础上构建，前者通过通道级遗忘门实现高效的长序列信息混合，后者允许每一层选择性地检索此前各层的表征，从而扩展了信息在序列长度、网络深度与模型宽度三个维度的流动。配合稳定潜在混合专家（Stable LatentMoE）机制，模型在每层激活八百九十六个路由专家中的十六个，并以归一化、SiTU-GLU激活函数与分位数均衡策略，在极端的稀疏度下稳定优化过程，整体训练与数据方案相较前代Kimi K2带来约二点五倍的缩放效率提升。 在架构之外，Kimi K3采用原生多模态设计，文本、图像与视频在同一共享主干与同一上下文中处理，无需后续的对齐阶段。视觉编码器MoonViT-V2完全从零开始以下一词元预测方式训练，相较基于对比学习初始化的方案展现出更稳定的优化轨迹，并在各项视觉评测中达到可比水平。预训练数据覆盖网络文本、代码、数学与知识四

来源：zuudee | 日期：2026-09-24 | 格式：PDF | 页数：47