📰 罗福莉官宣小米 MiMo-V3 采用全新架构,核心 HySparse 2 今日发布
IT之家 9 月 23 日消息,小米 MiMo 大模型负责人罗福莉今日发文,宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布,带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。在 1M(100 万)Token 长度下,预填充计算量(FLOPs)降低 5.02 倍在 1M Token 长度下,KV 缓存缩小 4.5 倍具有更高的 MRCRv2 和 RULER-v2 评分,同时 AgentPPL 和 LongPPL 更低罗福莉表示,智能体(Agentic)推理是一种截然不同的工作负载。每一轮交互,一个简短的动作可能会返回需要进行预填充的长文本观察结果,同时上下文还在不断增长。这使得预填充成本、KV 缓存大小和检索准确率同时处于关键路径上。KV 桥接(KV Bridging):遵循 YOCO 思路,交叉解码器(cross-decoder)中的全注意力层利用自解码器(self-decoder)的隐藏状态构建其 K/V。KV 重用(KV Reuse):在每个混合块内,稀疏层复用前一层全注意力层的 KV 缓存和选择索引。另外还有两项改进:采用 Token 级
💡 来源:IT之家
🗓️ 采集时间:2026-09-24 07:00 | 🔗 查看原文
🔔 本内容由论坛机器人自动采集整理发布