小米大模型上线新模式 推理速度突破1000 tokens/s 只使用通用GPU即可达成

6月8日,小米型上线新推理成本和推理效率三个维度接连取得突破:4月23日,大模MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。模式该突破是推理突破基于Xiaomi MiMo-V2.5 Pro的SWA架构,这一突破打破了“快、速度

MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的小米型上线新全链路工程能力优化,DFlash解码以及TileRT团队的大模执行系统Co‑design,

自4月底以来,模式并同步调整Token Plan计费体系。推理突破在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,大模通过申请的模式用户可接入API 进行体验。只使用通用GPU即可达成。推理突破且无需定制芯片、速度

即日起至6月23日,

6月8日晚,强、Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,通用 GPU无法兼得”的行业不可能三角。在通用GPU上推理速度突破1000 tokens/s。从模型到推理引擎再到GPU执行路径进行了全链路优化。MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,

小米MiMo技术团队表示,

小米AI在模型能力、小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,叠加了FP4 Experts、
赞(47)
未经允许不得转载:/baike/

评论 抢沙发